Le château du Broc semble avoir été implanté dans un territoire plus ancien, dénommé Olive, et dont le centre fortifié n'a pas encore été localisé. La première église paroissiale d'Olive, dédiée à Saint Pierre, est devenue par la suite la chapelle Saint-Michel, dont les ruines subsistent, en contrebas du village du Broc.