Бадай што, самым вядомым ўладальнікам замка з'яўляецца кароль Рэчы Паспалітай Стэфан Баторый, які не жадаючы залежаць ад прыдворных інтрыг у Кракаве і Вільні, ператварыў Гародню ў сваю галоўную рэзідэнцыю.