Amb la conquesta otomana, el castell va perdre gran part de la seva importància estratègica, tot i que va ser ocupat pels venecians durant la Guerra Otomana-Veneta de 1463-79, i atacat pels Cavallers de Malta el 1620. Durant el període de dominació veneciana al Peloponès (1687-1715) després de la Guerra de Morea
, va servir com a seu d'un districte fiscal. Els informes dels governadors venecians de l'època, no obstant això, descartan Chlemoutsi com a petit en mida i amb prou feines habitat. El 1701 el "provveditore generale" Francesco Grimani va proposar que fos destruït, ja que estava massa lluny del mar -una preocupació vital per a la República amb mentalitat marítima- i difícil de defensar, i va recomanar que Glarentza, abandonada i en ruïnes, fos reconstruïda. El 1715, la Morea va tornar al control otomà, i a principis del segle XIX, la fortalesa havia estat completament deserta. El 1825, durant la Guerra d'Independència de Grècia, les forces d'Ibrahim Pasha d'Egipte van prendre el castell i van desmantellar una part de les seves muralles, de manera que no pogués ser utilitzat pels rebels grecs.