La ville de Casselman a été fondée en 1844 par Martin Castleman, un loyaliste d'origine anglaise qui venait de Williamsburg. Il voulait établir le commerce du bois dans la région. À son arrivée, il a acheté un grand territoire pour une somme raisonnable. Une fois la transaction signée, Castleman, ainsi que quarante autres hommes avec lesquels il a travaillé, a créé une scierie. Cette scierie a contribué à augmenter une population majoritaire anglaise dans la nouvelle ville de Casselman.