Página decidiu formar The New Yardbirds e procurou novos músicos. Primeiro, ele recrutou John Paul Jones, um colega músico de sessão, para tocar baixo e teclados. Depois, seguindo uma dica, ele foi ouvir um jovem cantor de blues, Robert Plant, em Birmingham. Plant sugeriu o baterista John Bonham que havia tocado com ele na Band of Joy. O baterista dos Who, Keith Moon, tinha dito algo sobre a nova encarnação que estava se tornando um balão de chumbo. Assim, o nome Led Zeppelin foi cunhado.
A primeira exposição britânica de Zeppelin foi em 5 de outubro de 1968, na Universidade de Surrey. Uma inesperada turnê americana se seguiu naquele inverno, quando o Jeff Beck Group cancelou seu lugar em uma turnê com o Vanilla Fudge. O ambicioso gerente da banda, Peter Grant, aproveitou a oportunidade, convenceu todos os envolvidos, e Led Zeppelin partiu para Los Angeles na véspera de Natal de 1968.
Led Zeppelin assinou com a Atlantic Records e lançou seu primeiro álbum auto-intitulado em fevereiro de 1969. O som da banda teve diversas influências, incluindo o blues do Delta e artistas como Robert Johnson, Howlin’ Wolf, Buddy Guy, The Incredible String Band, e Elvis Presley. Entre o incrível alcance vocal da Plant e a utilização da nova tecnologia da época por Page—incluindo caixas de fuzz, amplificadores, captadores de split em suas guitarras e super-amplificadores para a máxima distorção—a banda rugiu para a consciência do rock underground.
A canção mais conhecida de Zeppelin, “Stairway to Heaven”, apresentada pela primeira vez em um concerto de 1971 em Belfast, foi de seu quarto álbum—sem título, exceto por quatro símbolos estranhos e rúnicos. O quarto álbum de Led Zeppelin foi gravado em Headley Grange, uma casa pobre convertida em Hampshire, Inglaterra. Page e Jones escreveram a música para “Stairway to Heaven” primeiro, e Plant escreveu a maior parte da letra de uma só vez. Plant mais tarde lembrou ao jornalista Cameron Crowe em Led Zeppelin: The Complete Studio Recordings, “It was done very quickly. Foi preciso um pouco de trabalho, mas foi um caminho fluido, anormalmente fácil. Era quase como se—uh oh—só tinha que ser tirado na hora. Havia algo empurrando-o dizendo: ‘Vocês estão bem, mas se quiserem fazer algo intemporal, aqui está uma canção de casamento para vocês’. “