La Romieu fut au départ un modeste prieuré fondé par deux moines bénédictins dans le pays de Firmacon dépendant du vicomte de Lomagne, de retour d'un pèlerinage à Rome (d'où le nom "Larroumieu" signifiant en gascon "pèlerin". Cette fondation serait datée de 1062. Ce prieuré fut réuni à l'abbaye Saint-Victor de Marseille le .