У вайну Расеі з Рэччу Паспалітай 1654—67 рокаў замак быў заняты ў 9 кастрычніка[1] 1654 року войскамі А.М. Трубяцкога пад уплывам весткі пра капітуляцыю Смаленскай фартэцыі[2]. У 1663 року “фортецыя Горская” згадваецца як вельмі разбураная, але ў дакументах 1680-х рокаў ужо ўпамінаюцца замак і мескі астрог. У апошні раз умацаваньні горскага замку спрабаваў выкарыстаць y 1708 року шведскі кароль Карл XII. Пазьней горскі замак страціў сваё ваеннае значэньне.