Skryf 'n voortsetting vir hierdie paragraaf - Die daaropvolgende dekades was ietwat minder stormagtig. Lida is in 1506 deur die Krim-Tartare verwoes en dit is in 1659 deur die Russe tydens die Russies-Poolse Oorlog bestorm. Die Swede, wat dit twee keer gedurende die Groot Noordelike Oorlog ingeneem het, het albei torings laat opblaas. In 1794 was die kasteelgronde die toneel van 'n geveg tussen Kościuszko se volgelinge
en die Russe.