На працягу ХVІ–ХVII стагоддзяў, калі ў Новым горадзе зявіўся Новы замак (цытадэль), а горад па перыметры поўнасцю абкружылі вонкавыя ўмацаванні, Стары замак (так з таго часу называліся Верхні і Ніжні замкі разам), згубіў стратэгічнае абарончае значэнне і ператварыўся ў палацава-замкавы комплекс – рэзідэнцыю слуцкіх князёў.