Alla fine del XVI secolo, il Portogallo aveva perso la sua indipendenza a seguito degli eventi di Alcácer Quibir
- No, no. La regione e il villaggio di Loulé erano, ancora una volta, minacciati dagli attacchi costieri dei pirati lungo la costa, eppure le difese del castello erano già diventate minacciate e erano cadute in rovina. Dopo il 1630, la vitalità economica dell'Algarve iniziò a diminuire, le sue popolazioni stagnarono e l'instabilità politica contribuì alla pirateria della costa di Barbary. L'espansione della regione subì, anche se furono costruiti nuovi edifici: nel 1600 fu costruita la Chiesa di Portas do Ceu; nelle tre porte del castello costruirono eremi a Nossa Senhora da Conceição, Nossa Senhora do Pilar e Nossa Senhora do Carmo; nel cortile, costruirono la Chiesa di Espírito Santo (poi recuperata ed ampliata nel 1693); ampliò il convento di Nossa Senhora da Conceição; e ad est, D. Francisco Barreto, secondo vescovo dell'Algarve, pose la pietra angolare del convento di Santo António (1675). Dopo la Restaurazione, il castello assunse un ruolo difensivo e i terreni che circondavano la struttura furono occupati da nuove costruzioni.