De 1376 à 1389, la forteresse est reconstruite par Raoul VIII, elle est entourée de quatre tours d'angles (elle sera détruite en 1627). La ville est consolidée par des murailles. Les habitants entraient dans la ville par trois portes ; la porte Saint-Jean, la porte de Coulon et la porte Saint Nicolas. La ville close était bordée de trois faubourgs : Saint-Jean au nord-ouest, Saint-Nicolas à l'est et Coulon au sud ; d'où les noms des portes de la ville.