Le village médiéval de Saint-Montan est bâti sur un promontoire rocheux. Le château surplombant la commune, présent au moins depuis le , appartenait autrefois à la famille "de Saint Montan", qui a donné le nom actuel au village. Durant le Moyen-Âge, des habitations ont progressivement été construites autour du château, jusqu'à atteindre les cours d'eau en contrebas, le long desquels ont alors été aménagés des remparts.