في عام 1474 ، أقامت الأميرة إيزابيلا في الكازار في وقت تتويجها كملكة قشتالة ، وفي عام 1570 ، تزوج الملك فيليب الثاني من زوجته الرابعة ، آنا من النمسا ، في القلعة.
الملك فيليب الثاني كان لديه العديد من الزوجات