Au Moyen Âge, Iffendic possédait en son territoire de nombreux édifice comme des manoirs et châteaux. Le Château de Boutavent (XIIe siècle) abrita les seigneurs de Montfort losque le château de Montfort fut détruit. Il resteront à Boutavent pendant près de deux siècles avant de retourner dans leur ancien château ; celui de Montfort. Après cela, le site semble laissé à l'abandon, mais rien ne prouve qu'il n'a plus été habité par la suite.