Skryf 'n voortsetting vir hierdie paragraaf - Die oorsprong van die kasteel kan so oud wees as die Fenisiese stigting van Oea in die 7de eeu v.C.; opgrawings het oorblyfsels gevind wat dateer uit die Romeinse tyd. Soos die omliggende streek, is dit omstreeks 439 deur die Vandale-koninkryk oorgeneem.
deur die Romeinse Ryk in 534, oorgeneem deur Amr ibn al-As in 642 of 643, weer deur die Bisantyne verower en dan weer deur die Umayyad Kalifaat in die laat 7de eeu; dan onder die bewind van die Abbasidiese Kalifaat (750-800), die Aghlabidiese Emirate van Ifriqiya (800-909), die Fatimiede Kalifaat (10de eeu) wat dit opgeknap het tot 'n koninklike woning, die Zirid Emirate van Ifriqiya en Banu Khazrun (11de eeu-1146), die Normandiese Koninkryk van Afrika (1146-58), die Almohad Kalifaat (1158-1229), die Hafsidiese Emirate van Ifriqiya (1234-1321), die Beni Ammar (1321-1401) en weer die Hafsid Emirate (1401-1510, met nog 'n verval in die middel van die 15de eeu).