Замак неаднаразова быў разбураны і перабудаваны, што значна змяніла яго знешні выгляд і абёмна-прасторавую кампазіцыю. У выніку абследавання помніка ў 1981—83 гадоў архітэктурна-археалагічнай экспедыцыяй Спецыяльных навукова-рэстаўрацыйных вытворчых майстэрняў Міністэрства культуры выяўлены 3 розначасовыя этапы будаўніцтва, якія адрозніваюцца характарам выкарыстанай цэглы, вапнавага раствору і тэхнікаў муроўкі. На жаль, лёс аднаго з найпрыгажэйшых замкаў Беларусі быў нядоўгім. Пасьля ўдзелу Сапегаў у паўстаньні за адраджэньне Рэчы Паспалітай і Вялікага княства Літоўскага 1863 году, расейскі ўрад забраў усю іхнюю маёмасьць у дзяржаўны фонд. Сапегі былі вымушаныя эміграваць у Францыю, а Гальшаны перадалі расейскаму памешчыку Гарбанёву, які ў 1880 годзе стаў узрываць вежы і гандляваць замкавай