Dolley Madison
Vuoden 1812 sodassa britit miehittivät Washingtonin ja polttivat presidentin virka-asunnon Valkoisen talon. Dolley Madison pakeni vasta viime hetkellä, kun britit olivat muutaman mailin päässä, mutta hän pakkasi mukaansa kuuluisan George Washingtonin muotokuvan ja mahdollisesti myös Amerikan itsenäisyysjulistuksen. Dolleyn urheudesta kirjoitettiin laajasti lehdistössä, ja vaikka Madisonia oli kehoitettu siirtämään hallintonsa maan pääkaupunki turvallisempaan paikkaan, Valkoisen talon symboliarvo oli niin suuri, että kongressi päätti sittenkin jälleenrakentaa Capitolin ja Valkoisen talon.
Valkoinen talo
Rakennuksen nurkkakivi muurattiin 1792. Kahdeksan vuotta myöhemmin vuonna 1800 presidentti John Adams muutti vaimoineen taloon sen ollessa yhä keskeneräinen. Talo kalkittiin valkoiseksi vuonna 1798, jotta huokoisesta kivestä rakennetut seinät eivät jäätyisi. Myöhemmin seinät maalattiin valkoisiksi.