Scrivi una continuazione per questo paragrafo - Le origini del castello possono essere antiche quanto la fondazione fenicia di Oea nel VII secolo a.C. Gli scavi hanno trovato resti risalenti all'epoca romana. Come la regione circostante, venne conquistata dal Regno Vandale intorno al 439, recuperata
l'Impero Romano nel 534, invaso da Amr ibn al-As nel 642 o 643, riconquistato dai bizantini e poi nuovamente dal Califfato degli Omayyadi alla fine del VII secolo; poi sotto il dominio degli Abbasidi (750-800), l'Emirato Aghlabide di Ifriqiya (800-909), il Califfato Fatimida (X secolo) che lo ristrutturò in una residenza reale, l'Emirato Zirid di Ifriqiya e Banu Khazrun (XI secolo-1146), il Regno Normanno d'Africa (1146-58), il Califfato Almohad (1158-1229), l'Emirato Hafsid di Ifriqiya (1234-1321), l'Ammar Beni (1321-1401) e nuovamente l'Emirato Hafsid (1401-1510, con un altro intervallo a metà del XV secolo).