Пасля трэцяга падзелу Рэчы Паспалітай у 1795 годзе і адрачэння Станіслава Аўгуста Панятоўскага, Казімір Нарбут цалкам адышоў ад грамадскага жыцця і прыняў рашэнне вярнуцца на Лідчыну ў Радзівонішкі, каб правесці рэшту свайго працавітага жыцця ў цішы братавага маёнтка. І так сталася, што гэтаму рашэнню ён быў верны 12 гадоў, да часу сваёй смерці. Адзіным выключэннем быў выезд у Ліду ў 1801 годзе, каб асвяціць краевугольны камень пад касцёл, які меліся будаваць піяры.