Escriu una continuació per a aquest paràgraf - Els jardins van patir danys nombroses vegades durant el segle XIX. Durant la Primera Guerra de l'opi, l'exèrcit britànic va utilitzar la casa de te de Huxinting com a base d'operacions durant diversos dies el 1842. Durant la Rebel·lió Taiping
, la Societat de les Espases Petites tenia la seva seu a la Sala Dianchun; quan les tropes Qing van recuperar el jardí, les estructures originals havien estat gairebé totes destruïdes. Van ser danyats de nou pels japonesos el 1942 abans de ser reparats per Liangshun Han (Rockery Han) nomenat pel govern de Xangai de 1956 a 1961. Van ser obertes al públic el 1961 i declarades monument nacional el 1982.