Penghapusan struktur dimulai pada tahun 1762. Setelah naik takhta pada tahun 1820, Raja George IV melanjutkan renovasi dengan gagasan tentang sebuah rumah kecil yang nyaman. Sementara pekerjaan itu sedang berlangsung, pada tahun 1826, Raja memutuskan untuk mengubah rumah itu menjadi istana dengan bantuan arsiteknya, John Nash. Beberapa perabot dipindahkan dari Rumah Carlton, dan yang lain - lain dibeli di Prancis setelah Revolusi Prancis. Façade eksternal dirancang menjaga dalam pikiran pengaruh neo-klasik Perancis disukai oleh George IV. Biaya renovasinya meningkat secara dramatis, dan pada tahun 1829, penambahan rancangan Nash mengakibatkan ia disingkirkan sebagai arsitek. Pada kematian George IV pada tahun 1830, adiknya Raja William IV menyewa Edward Blore untuk menyelesaikan pekerjaan itu. Pada suatu saat, William mempertimbangkan untuk mengubah istana itu menjadi Gedung Parlemen yang baru, setelah Istana Westminster dihancurkan pada tahun 1834.
Siapa yang dipecat pada tahun 1830 untuk menyelesaikan pekerjaan di istana?
Edward Blore