Con el establecimiento de la corte en Madrid, su población empieza a crecer de forma significativa. A la burocracia real, los miembros de la corte y todas las personas necesarias para su sustento, se unen desheredados y buscavidas de todo el imperio. En 1625, Felipe IV derriba la muralla de la ciudad, ya sobrepasada y edifica la que será la última cerca de Madrid. Esta cerca constreñirá el crecimiento de la ciudad hasta el siglo XIX. Las tareas de gobierno se centralizan en el Alcázar Real, conjunto de edificaciones situadas en los terrenos que hoy ocupa el Palacio Real y la Plaza de Oriente. Paralelamente, se construye un palacio en el otro extremo de la ciudad, más allá de la cerca. Se trata del Palacio del Buen Retiro.