Паводле летапісаў, да 1525 году замак знаходзіўся ва ўладаньні князёў Гальшанскіх, а пасьля шлюбу князёўны Алены з Паўлам Сапегам перайшоў да прадстаўнікоў гэтага роду. Цягам сваёй гісторыі палацавы комплекс шмат разоў разбураўся і перабудоўваўся, што паўплывала на яго выгляд у розных прамежках часу.