Cuando Carlota tenía ocho años, el so padre, que siguía la so rellación con María Fitzherbert, decidió que quería Carlton House solo pa él. Apoderar de los aposentos de la so esposa (Carolina treslladó los sos aposentos al palaciu de Kensington), y la so fía camudar a Montangue House, que quedaba al llau de Carlton House. James Chambers, otru biógrafu de Carlota, escribió: «la pequeña princesa vivía nuna casa solo pa ella, en compañía de persones a les que pagaben por que tuvieren ellí». La mudanza producir ensin la presencia de la gobernanta de Carlota, lady Elgin, vilba de Charles Bruce, 5º conde de Elgin, que tenía una rellación bien estrecha cola princesa. Lady Elgin foi obligada a xubilase, supuestamente pola so edá avanzada, pero principalmente porque llevara a Carlota a visitar al rei ensin el permisu de Xurde. Xurde tamién despidió al so «subgobernanta», miss Hayman, por tener una rellación bien amigable con Carolina. Ello ye que la so esposa nun tardó en contratala pa la so casa. La sustituta de lady Elgin, lady Clifford, vilba d'Edward Southwell, 20º barón de Clifford, quería a Carlota, pero yera demasiáu simpática pa consiguir disciplinar a la pequeña, que se convirtiera nuna rapacina exuberante. Lady Clifford llevar munches vegaes con unu de los sos nietos, l'honorable George Keppel, trés años más nuevu que Carlota, por que xugara con ella. Cuarenta años dempués, Keppel, entós daquella conde de Albemarle, recordó a Carlota nes sos memories, cuntando delles aventures de cuando yeren neños según el so gustu polos caballos y poles engarradielles. Recordó tamién una ocasión en qu'un ensame axuntárase alredor de la so casa en Earl's Court pa ver a la pequeña y los neños xunir al ensame ensin ser reconocíos.