Les remparts portugais qui encerclent la vieille ville contrastent avec la blancheur des maisons. Asilah n'a gardé aucun des vestiges de la Kasbah bâtie par Al-Qasim Ibn Idris et Mousa Ibn Abi Al-Afiya au . Par ailleurs, elle présente un travail de fortifications énorme initié sous la direction de Diogo Boitaca, architecte militaire principal de la couronne portugaise au . Un rempart très imposant, en forme de parallélogramme, encercle la médina et s'étend sur une superficie de . Il est percé de cinq portes qui datent d'époques différentes parmi lesquelles deux sont d'origine portugaise : Bab al-Homer (Porta da Vila) et Bab al-Bahr (Porta da Ribeira).