À l'époque de la Russie impériale, la forteresse fut une prison politique, tristement célèbre. Parmi ses prisonniers les plus connus figurent Wilhelm Küchelbecker, Bakounine, Ivan Kaliaïev et, pendant trente-huit ans, Walerian Łukasiński. Ivan VI de Russie y fut assassiné en 1764 et le frère de Lénine, Alexandre Oulianov, pendu en 1887.