喺 19 世紀,花園受到好多次破壞. 喺第一次世界大戰期間 英國軍隊喺 1842 年 用咗赫辛廷茶館做幾日嘅基地 台北叛亂時期
國王時,小劍學會嘅總部就喺<unk>春大廳; 國王軍隊收返花園時,原本嘅建築物幾乎全部被摧毀. 1942 年,日本軍再次摧毀佢,之後由 1956 年到 1961 年,由上海政府任命的梁順漢 (Rockery Han) 修復. 呢兩座建築物喺 1961 年開放畀公眾使用 1982 年被列為國家紀念碑