Viết tiếp cho đoạn này - Assos luôn có dân số nhỏ. Vị trí của nó có nghĩa là dưới sự bao vây nguồn cung cấp của nó, bao gồm cả nước, có thể bị cắt đứt. Tuy nhiên, lâu đài đã trở thành thủ đô của phía bắc Cephalonia như một pháo đài lớn với một khu định cư nhỏ bên trong. Năm 1684, người Venice chiếm Lefkas từ người Thổ và lâu đài Assos mất tầm quan trọng chiến lược của nó. Năm 1757, với cướp biển và mối đe dọa của Thổ Nhĩ Kỳ giảm, người Venice thành lập Argostoli, trở thành thị trấn chính của hòn đảo. Asos vẫn là trụ sở của "provveditore" của Venice cho đến khi Cộng hòa Venice sụp đổ và sự kết thúc của sự cai trị của Venice ở Cephalonia. Năm 1822, khoảng 1700 người từ Souli đến ở trong pháo đài Assos và toàn bộ khu vực trở thành khu vực cách ly, dẫn đến một khu định cư trong pháo đài có tên Souli. Trong thế kỷ tiếp theo, Assos tiếp tục là một pháo đài không có vai trò quân sự. Vào cuối những năm 1920, một nhà tù đã được bắt đầu ở đó, sau Thế chiến II đã tiếp nhận các tù nhân chính trị, những người giữ vườn nho và cây ngũ cốc. Quần đảo Ionian bị thiệt hại nặng nề bởi trận động đất Ionian năm 1953
. Sau đó, hầu hết mọi người trong lâu đài đã rời đi và nhà tù đã bị đóng cửa. Cuộc điều tra dân số năm 1961 chỉ tìm thấy 6 người sống trong pháo đài, người cuối cùng rời đi vào năm 1963. Họ được gọi là "Kastrinoi" ("người của lâu đài"), bao gồm các gia đình lớn chủ yếu trồng ô liu và nho.