Adams nasceu na região oeste de São Francisco, Califórnia, filho de pais de classe alta, Charles Hitchcock Adams e Olive Bray Adams. Filho único, ele recebeu o nome de seu tio Ansel Easton. Um Francisco foi devastado pelo terremoto de 18 de abril de 1906 em São Francisco. Sem se ferir no tremor inicial, o menino de quatro anos, Ansel Adams, foi jogado de cara contra um muro de jardim durante um abalo secundário, três horas depois, quebrando-se e deixando uma cicatriz no nariz.