Pada pertengahan abad ke-19, mansion ini diberikan kepada Pangeran Gong (Aisin Gioro Yixin), saudara Kaisar Xianfeng, salah satu tokoh penting di Dinasti Qing yg terkenal krn perannya dlm menangani hubungan diplomatik dg kekuatan asing. Nama "Gong Wang Fu" berasal dr gelar beliau