Morse kết hôn với Lucretia Pickering Walker vào ngày 29 tháng 9 năm 1818, tại Concord, New Hampshire. Cô qua đời vào ngày 7 tháng 2 năm 1825, ngay sau khi sinh đứa con thứ ba của họ (Susan b. 1819, Charles b. 1823, James b. 1825). Ông kết hôn với người vợ thứ hai của mình, Sarah Elizabeth Griswold vào ngày 10 tháng 8 năm 1848, tại Utica, New York và có bốn đứa con (Samuel b. 1849, Cornelia b. 1851, William b. 1853, Edward b. 1857).
Utica