Robert Fripp e Michael Giles começaram a discutir a formação da banda em Novembro de 1968, pouco antes da separação de Giles, Giles and Fripp uma banda que teve uma duração efémera e sem sucesso. Os primeiros músicos que se lhes juntaram foram: o vocalista e guitarrista Greg Lake, para tocar baixo, o poeta e letrista Peter Sinfield e o compositor Ian McDonald, sendo esta a primeira encarnação dos King Crimson. O nome da banda King Crimson, "o Rei Escarlate", significa e representa o sol.
Em Janeiro de 1969 o grupo ensaiou pela primeira vez. Em julho daquele ano, a banda se apresentou no famoso show gratuito no Hyde Park em Londres organizado pelos Rolling Stones. No decorrer desse ano foi editado o primeiro álbum, “In The Court of the Crimson King”. A sonoridade do disco de estréia trazia vários elementos pouco ortodoxos para o rock naquele tempo, incluindo a influência de música erudita e jazz. As novidades tornaram-no um marco no subgênero do rock que na época ainda estava em estágio embrionário: o rock progressivo.
O grupo fez uma turné pela Inglaterra e mais tarde pelos EUA tocando ao lado de muitos grupos contemporâneos entre os quais: Iron Butterfly, Janis Joplin, Rolling Stones e Fleetwood Mac. A banda começava a fazer um sucesso moderado, mas tensões e divergências musicais chegaram a um limite, a ponto de McDonald e Giles sairem do grupo em dezembro de 1969; McDonald formou o Foreigner e Giles seguiu carreira solo.
O trio restante, Fripp, Sinfield e Lake continuaram mais um tempo, editando o single “Cat Food/Groon” em Março de 1970. Paralelamente criavam material para aquele que seria o segundo álbum do grupo, “In the Wake of Poseidon”, mantendo a mesma linha do disco de estréia, mas com impacto comercial bem inferior. Mel Collins (sopro) e Peter Giles (baixo) tocam em várias faixas do álbum. Fripp pretendia reformular a banda, mas Greg Lake já vinha demonstrado interesse em deixar o grupo há algum tempo, e enfim o fez em abril, formando o Emerson, Lake & Palmer.
O King Crimson ficou sem vocalista até à chegada de Gordon Haskell, que também assumiu o cargo de baixista; Andy McCullouch tomou conta da bateria para a gravação do terceiro álbum intitulado “Lizard”, onde Jon Anderson do Yes canta numa faixa. O som deste disco mostrou-se mais elaborado e pomposo, e mais uma vez o sucesso foi baixo. Imediatamente a seguir à saída do álbum, Haskell e McCulloch abandonam o grupo, deixando Fripp numa posição inviável, visto não ter vocalista, baixista ou baterista.