Nel sieglu XIII el Castiellu de la Peroja pasa a ser llugar d'estancia del Adelantado Mayor de Galicia, hasta eses feches tuvo en manes de los amos de les tierres, la familia Tarreces. Unu de los adelantraos foi Pedro Ruiz Sarmiento en 1370, títulu dau pol rei Enrique II, empezando equí la dinastía de los Sarmiento.