Афіцыйнай рэзідэнцыяй генерал-губернатара ў Вільні стаў палац віленскіх каталіцкіх біскупаў, які быў пабудаваны апошнім у часы Вялікага Княства Літоўскага віленскім біскупам (1762—1794) Ігнатам-Якубам Масальскім (1727—1794).