A partir do século VIII, a ilha foi ocupada pelos muçulmanos até que D. Afonso Henriques, no âmbito da reconquista cristã da Península Ibérica a reocupou e entregou à Ordem do Templo. Os Cavaleiros Templários usaram a Ilha como parte de sua linha defensiva e foram responsáveis pela reconstrução do castelo, conferindo-lhe as características das fortificações templárias.