Нажаль, уся гэтая пышнасць стала ў сярэдзіне XX стагоддзя руінамі. Пасля смерці Паўла Сапегі яго рэзідэнцыя прыйшла ў заняпад. Замак моцна пацярпеў падчас Паўночнай вайны. У сярэдзіне XIX стагоддзя сядзібу пачалі расцягваць на будаўнічыя матэрыялы, з цэглы трэцяга паверха пабудавалі карчму. І ўсё ж, нягледзячы на заняпад, і ў гады I Сусветнай вайны ў будынку яшчэ жылі людзі. А пасля 1945 года цэгла са сцен Гальшанскага замка пайшла на будаўніцтва свінарніка і іншых гаспадарчых будынкаў.