Viết tiếp cho đoạn này - Đến cuối thế kỷ 16, Bồ Đào Nha đã mất độc lập sau các sự kiện Alcácer Quibir
. Vùng và làng Loulé, một lần nữa, bị đe dọa bởi các cuộc tấn công ven biển từ cướp biển dọc theo bờ biển, tuy nhiên các phòng thủ lâu đài đã bị đe dọa và bị phá hủy. Sau năm 1630, sức sống kinh tế của Algarve bắt đầu giảm, dân số của nó bị trì trệ và bất ổn chính trị góp phần vào cướp biển bờ biển Barbary. Các khu vực mở rộng đã chịu đựng, ngay cả khi các tòa nhà mới được xây dựng: vào năm 1600, Nhà thờ Portas do Ceu được xây dựng; trong ba cánh cổng của lâu đài, họ xây dựng các tu viện cho Nossa Senhora da Conceição, Nossa Senhora do Pilar và Nossa Senhora do Carmo; trong sân, họ xây dựng Nhà thờ Espírito Santo (sau đó được phục hồi và mở rộng vào năm 1693); mở rộng tu viện của Tu viện Nossa Senhora da Conceição; và ở phía đông, D. Francisco Barreto, giám mục thứ hai của Algarve, đặt nền tảng cho Tu viện Santo António (1675). Sau khi phục hồi, lâu đài đã đảm nhận vai trò phòng thủ và các vùng đất xung quanh cấu trúc đã bị chiếm đóng bởi các công trình xây dựng mới.