Les Clunisiens s’implantent dans la partie sud-ouest de la commune actuelle, près d’un étang relié à la mer par le chenal du Barrachois. Ils fondent le prieuré de Notre-Dame de Buze, composé de bâtiments conventuels, de dépendances agricoles et d’une léproserie. Plus au nord, les moines de l’Ordre de Grandmont fondent le prieuré de Notre-Dame de La Garde, qui voisine avec le prieuré de Notre-Dame de La Couronne. Les religieux ont pour devoir de dire la messe pour les quelques habitants du lieu, mais avant tout de mettre en valeur ces terres ingrates qu’il faut défricher et mettre en culture, mission dont ils s’acquittent parfaitement. Ils s’occupent également de porter secours aux naufragés rejetés par les flots, particulièrement nombreux dans les parages du pertuis de Maumusson de sinistre réputation. Bien vite, un premier hameau voit le jour autour du prieuré de La Garde : baptisé « Trembledam » (du nom du tremble, un arbre commun dans les bois des environs) c’est l’embryon de la ville actuelle. Son port, bien situé à l’entrée de l’estuaire de la Seudre, est en contact avec les marchands de toute l’Europe qui viennent y charger les produits des environs : le blé, le vin, mais surtout le sel, grande richesse de la Saintonge à cette époque (étant le seul moyen de conserver les aliments). 