З другой паловы ХVІІ і на пачатку ХVІІІ стагоддзяў у Ніжнім замку ўжо меліся тры палацы – манументальныя аднапавярховыя шматпакаёвыя будынкі. Адзін з іх – вялікі палац – магчыма ўяўляў сабою перабудаваны першы палац Алелькавічаў. Стаяў ён па галоўнай восі ансамбля. Гэта быў крыты гонтай прамавугольны ў плане будынак, да якога сіметрычна па баках прымыкалі алькежы (самастойныя прыбудовы пад сваімі асобнымі дахамі). У палацавых пакоях палы былі паркетнымі, ацяпляліся яны печкамі, абліцаванымі белай і каляровай кафляй з выявамі гронак вінаграду, а таксама чорных арлоў – гербаых выяў Радзівілаў, якія тады былі ўладальнікамі горада. Побач з палацам знаходзілася студня, пад валам стаяла скарбніца, за ровам над Бычком – лазня.