В течение ХVІ–ХVII веков, когда в Новом городе появился Новый замок (цитадель), а город по периметру полностью окружили наружные укрепления, Старый замок (так с того времени назывались Верхний и Нижний замки вместе), потерял стратегическое оборонительное значение и превратился в дворцово-замковый комплекс – резиденцию слуцких князей.