У 1851 годзе падчас рэвізавання семінарыі мітрапаліт Іосіф (Сямашка) знайшоў яе ў вельмі дрэнным стане. Будынкі, дзе размяшчаліся семінарысты, пагражалі абвалам. А рамонт, па падліках мітрапаліта Іосіфа, абыйшоўся б даражэй, чым узвядзенне новага будынка. I таму ён настойліва рэкамендаваў перавесці семінарыю ў Віцебск і размясціць яе ў будынку былога базыліянскага манастыра. Рэкамендацыя дроўгі час не выконвалася, пакуль у 1856 годзе ўсю маёмасць семінарыі запакавалі і накіравалі водным шляхам па рацэ Дзвіне ў Віцебск. Семінарыю там размясцілі ў будынках пры Ўспенскім саборы, які разам з базыліянскім манастыром быў перададзены праваслаўным яшчэ ў 1799 годзе. Доўгі час семінарыя, знаходзячыся ў Віцебску, працягвала іменавацца Полацкай. I толькі ў 1871 годзе яна стала звацца Віцебскай.