A lo llargo de la historia l'edificiu foi pasando por distintos propietarios, hasta'l sieglu XV cola llegada de los Duques de Alburquerque. Esi primer periodu completar principalmente los Reis de Castiella, pos la Villa foi de realengu hasta qu'entra na hestoria local don Beltrán de la Cueva.