La principessa Victoria fu poi descritta come "piuttosto malinconica". Sua madre era estremamente protettiva, e Victoria fu cresciuta in gran parte isolata dagli altri bambini sotto il cosiddetto "Sistema Kensington", un elaborato insieme di regole e protocolli ideati dalla duchessa e dal suo ambizioso e dominante controllore, Sir John Conroy, che si diceva fosse l'amante della duchessa. Il sistema impedì alla principessa di incontrare persone che sua madre e Conroy ritenevano indesiderabili (compresa la maggior parte della famiglia di suo padre), e fu progettato per renderla debole e dipendente da loro. La duchessa evitava la corte perché era scandalizzata dalla presenza dei figli illegittimi del re Guglielmo Victoria.
Francese, tedesco, italiano e latino