Morse sposò Lucretia Pickering Walker il 29 settembre 1818 a Concord, New Hampshire. Morse morì il 7 febbraio 1825, poco dopo la nascita del loro terzo figlio (Susan b. 1819, Charles b. 1823, James b. 1825). Morse sposò la sua seconda moglie, Sarah Elizabeth Griswold il 10 agosto 1848 a Utica, New York e ebbe quattro figli (Samuel b. 1849, Cornelia b. 1851, William b. 1853, Edward b. 1857).
Utica