La tradición oral peñausendina venceya l'orixe d'esta fortaleza natural con Viriato, caudiellu celtíberu al que na provincia de Zamora considérase nativu de Torrefrades, conceyu que tamién pertenez a la contorna zamorana de Sayago. Habituales son tamién les lleendes que conceden al castiellu un importante papel na Reconquista y posterior repoblación del so área territorial d'influencia, y nes que ye frecuente atopar menciones a la esistencia de túneles y pasadizos que xuníen esta fortificación con diversos puntos de la so redolada.