Koulu kärsi vakavista ihmis- ja pääomahäviöistä Ruotsin vuoden 1656 hyökkäyksen aikana.
Ja vuoden 1710 rutto, mutta toipui. Jesuiittojen tukahduttamisen jälkeen vuonna 1773 korkeakoulun hallinto siirtyi kansallisen koulutuksen komissiolle. Kolmannen Puolan ja Liettuan valtakunnan jakamisen jälkeen koulua johtivat Kolaiinien karmeliitit vuosina 1797-1817. Vuonna 1817 tsaarin hallitus sekularisoi koulun, muutti sen nimen gymnaasioksi, otti käyttöön peruskoulutuksen luokkat ja siirsi sen hallinnon Vilnan yliopistoon. Opiskelijoiden määrä kasvoi siten yli 400:een.