Les primeres noticies que se tienen daten del sieglu XII, cuando'l célebre xeógrafu granadín al-Idrisi señaló la esistencia d'un castiellu en Cádiar, al que d'antiguo se -y llamó "Hisn al-Qadir" («castiellu del xuez») en dómina Andalusí.