Durant le Moyen Age, un Château Fort se construit sur la butte rocheuse. À l'est de la forteresse se construit un petit bourg avec son église Saint Hilaire (de style roman, elle fut détruite au ), sa Porte des Vieilles Prison, sa chapelle Saint Lienne, sa Tour de l'Horloge et ses halles médiévales (tous ces bâtiment n’existent plus). Aujourd'hui, seules quelques vieilles maisons en pierre, la Maison des Compagnons et la Maison Renaissance subsistent autour de la Place de la Vieille Horloge.