Dolley Madison
Vuoden 1812 sodassa britit miehittivät Washingtonin ja polttivat presidentin virka-asunnon Valkoisen talon. Dolley Madison pakeni vasta viime hetkellä, kun britit olivat muutaman mailin päässä, mutta hän pakkasi mukaansa kuuluisan George Washingtonin muotokuvan ja mahdollisesti myös Amerikan itsenäisyysjulistuksen. Dolleyn urheudesta kirjoitettiin laajasti lehdistössä, ja vaikka Madisonia oli kehoitettu siirtämään hallintonsa maan pääkaupunki turvallisempaan paikkaan, Valkoisen talon symboliarvo oli niin suuri, että kongressi päätti sittenkin jälleenrakentaa Capitolin ja Valkoisen talon.
Valtion vierastalo
Taloa käytetään muun muassa valtiovieraiden majoittamiseen. Kiinan presidenttipari majoittui talossa 2017. ja Donald Trump vuonna 2018. Presidentti Mauno Koivisto asui talossa muutaman päivän huhtikuussa 1986 virkamieslakon johdosta.