Nancy nació en Hong Kong dun padre cantonés, arquiteutu Kwan Wing-hong, y una madre escocesa, la modelu Marquita Scott. Los sos padres divorciáronse cuando ella tenía dos años dedá. Mientres la invasión xaponesa de Hong Kong, navientu de 1941, el padre de Kwan, que trabayaba pa la intelixencia británica, fuxó de la ciudá a cuerpu xunto a Nancy y el so hermanu, Ka-keung, y escondiéronse al oeste de China. La familia tornó a Hong Kong a la fin de la Segunda Guerra Mundial. Kwan depués estudió na Escuela Real de Ballet nInglaterra, actuando en El Llagu de los Cisnes y La Bella Durmiente en Covent Garden. Completó los sos estudios con un certificáu pa enseñar ballet.