प्रथम महिला डॉली मैडिसन ने इसे राष्ट्रपति का महल कहा। जनता द्वारा इसे व्हाइट हाउस के रूप में संदर्भित करने का पहला सबूत 1811 में दर्ज किया गया था। 1901 में, राष्ट्रपति थियोडोर रूजवेल्ट ने व्हाइट हाउस को इसका आधिकारिक नाम बनाया।