En 1829, le fils d’Henry Caldwell, John, se fait saisir ses biens et la seigneurie de Gaspé est vendue à Moses Hart de Trois-Rivières. Le fils de ce dernier sera propriétaire de la seigneurie et en tirera les bénéfices jusqu’à l’abolition de la tenue seigneuriale en 1854, année au cours de laquelle St-Apollinaire deviendra officiellement une paroisse.