Знішчальныя войны XVII ст. давялі манастыр да заняпаду. Маскоўскія войскі Івана Васілевіча выкарыстоўвалі Барыса-Глебскую царкву як артылерыйскі плацдарм для абстрэлу гродзенскага замка. У 1839 г. пасля скасавання уніі манастыр вернуты ў праваслаўе. На той час у манастыры знаходзілася 15 манахаў. Манаскія келлі былі драўляныя, размяшчаліся вакол Барыса-Глебскай царквы. З XVIII ст. над царквой навісла пагроза абвалу сцен з прычыны падмыву берагоў Нёмана. Таму ў 1843 г. яна была закрыта. У 1853 г. паўднёвая сцяна і частка заходняй абваліліся ў Нёман. З гэтага часу манастыр быў пераведзены ў будынкі былога каталіцкага манастыра бернардзінак, туды ж перанесена і цудадзейная ікона Божае Маці.