Ottomaanien valloituksen myötä linna menetti suuren osan strategisesta merkityksestään, vaikka venetsialaiset miehittivät sen ottomaanien ja venetsialaisten välisen sodan aikana 1463-79, ja Maltan ritarit hyökkäsivät sen kimppuun vuonna 1620. Venetsian vallan aikana Peloponnesossa (1687-1715) Morean sodan jälkeen
, se toimi verotuksellisen alueen pääkaupunkina. Tuolloin Venetsian kuvernöörien raportit kuitenkin hylkäsivät Chlemoutsin pieninä ja tuskin asuttuina. Vuonna 1701 "provveditore generale" Francesco Grimani ehdotti sen tuhoamista, koska se oli liian kaukana merestä - tärkeä huolenaihe merenkulkuun keskittyneelle tasavallalle - ja vaikea puolustaa, ja suositteli, että Glarentza, joka oli jo hylätty ja tuhoutunut, rakennettaisiin uudelleen. Vuonna 1715 Morea palasi ottomaanien valtaan, ja 1800-luvun alkupuolella linnoitus oli täysin autio. Vuonna 1825 kreikkalaisen itsenäisyyssotien aikana Egyptin Ibrahim Pashan joukot valtasivat linnan ja purkivat osan sen muureista, jotta kreikkalaiset kapinalliset eivät voineet käyttää sitä.