Autour des cellules monacales construites par les pèlerins, se portèrent les habitants. Cette ville était défendue par une ceinture d'épaisses murailles de 8 à de hauteur. Trois portes -"Miramont", "Rouède", "de la Fontaine" - y donnaient accès. De nos jours, de ces trois portes, seule la porte de la Fontaine avec son aspect primitif est encore visible.