Després de la mort de Hemchandra Chowdhury, els seus successors van travessar el país per por de disturbis comunals durant la partició de l'Índia i el Pakistan el 1946. Shyamkanta Ganguly i el seu fill Kamal Ganguly van anar a Hemnagar, però durant la guerra de 1965, també van emigrar. Durant la Guerra de l'Alliberament de Bangladesh
, el Rajbari de Hemanagar va ser utilitzat com a refugi per als combatents per la llibertat.