En 1792, les loyalistes fuyant les États-Unis obtiennent la permission de coloniser les Cantons-de-l'Est. En 1803, le Conseil exécutif de Québec concède le canton de Granby au colonel Henry Caldwell et ses 97 associés. John Horner, le premier habitant qui s'établit à l'emplacement de la ville actuelle arrive en 1813. Horner construit une scierie près de la rivière Yamaska. La ville porte le nom de John Manners, marquis de Granby.