Трэба адзначыць, што ўжо ў XIV стагодзьдзі ў дзядзінцы існаваў каменны храм — Царква Сьвятога Міхала, вядомы зь пісьмовых крыніцаў XVI—XVII стагодзьдзяў. Да 1775 року ў ім праходзілі паседжаньні Трыбуналу — вышэйшага апэляцыйнага суду Вялікага княства Літоўскага. А на поўнач ад храму стаяў двухпавярховы каменны палац, які існаваў да сярэдзіны XVII стагодзьдзя.