Les premières habitations connues ont été érigées vers l'an 800 autour d'un monastère, dans la vallée, à la rencontre de 2 cours d'eau, La Vèbre et l'Agout. Mais craignant les nombreux pillages de l'époque, les habitants cherchèrent à se réfugier dans un lieu plus sûr. Et c'est au sommet d'un éperon rocheux logé au méandre de l'Agout qu'un nouveau village s'installa autour de son château, aux environs du . 