Como en muitas poblacions pasa, se tiene as primeras noticias d'existencia d'o Elsón relacionadas con o suyo castiello. Se troba documentau en o sieglo XI baixo reinau de Remiro I con os nombres de «lo Elson» y «Eleson» y se'n tiene conoixencia d'os tinents que tuvo dica las zaguerías d'o sieglo XII (en 1182 muere o suyo tinent Pero de Sant Vicente).