Deux décennies et demie plus tard, le roi Magnus Eriksson attaqua et prit brièvement la forteresse au cours de sa croisade dans la région en 1348–1352. Elle fut en grande partie dévastée lorsque les Novgorodiens reprirent la forteresse en 1351. Elle fut reconstruite en pierre en 1352 par l'archevêque Vassili Kalika (1330-1352), qui, selon la "Première Chronique de Novgorod", avait été envoyé par les Novgorodiens après que plusieurs princes russes et lituaniens eurent ignoré les demandes de la ville pour les aider à reconstruire et à défendre le fort. Les restes de l'enceinte de 1352 ont été exhumés en 1969 et peuvent être vus juste au nord de l'église Saint-Jean au centre de la forteresse actuelle.