Evítase entós que Carolina participe de dalguna manera na vida cotidiana de la so fía, y finalmente ye desterrada en 1799 a una residencia privada en Blackheath, conocida como "La Pagoda", onde ella alegó tener rellaciones adúlteres col políticu Jorge Canning y l'almirante Sir Sidney Smith. Dempués d'una investigación de la so vida privada ordenada pol so home, Carolina abandona'l país aldu al continente européu, dexando al so pasu grandes deldes y dellos amantes, siendo'l más bultable d'ellos l'italianu Bartolomeo Pergami. Mientres aquella dómina, la única fía de Jorge y Carolina, Carlota, casada col príncipe Leopoldo de Saxonia-Coburgu-Saalfeld, muerre al dar a lluz al so únicu fíu, un neñu nacíu muertu.