Skryf 'n voortsetting vir hierdie paragraaf - In 1813 het Ruffin met Susan Hutchings Travis van Williamsburg getrou. Die egpaar het verhuis na 'n plantasie wat Ruffin geërf het van sy naamgenoot-grootvader, by Coggin's Point, langs die Jamesrivier in Prince George County, wat opgemerk is as die vertrekpunt van Benedict Arnold nadat hy lojaliteite geskakel het en in 1781 langs die Jamesrivier (insluitend Richmond) aangeval het. Hulle het elf kinders gehad voordat Susan Ruffin in 1846 gesterf het, hoewel die meeste sou sterf voordat die Amerikaanse Burgeroorlog geëindig het en hul vader selfmoord gepleeg het: Edmund Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816<unk>1865), Julian Calx Ruffin (1821<unk>1864, wat in die Slag van Drewry's Bluff gesterf het
), Elizabeth Ruffin Sayre (1821<unk>1860), Rebecca Ruffin Bland (1823<unk>1855), Jane Ruffin Dupuy (1829<unk>1855), Charles Lorraine Ruffin (1832<unk>1870; VMI-gegradueerde wat die oorlog oorleef het), Ella Ruffin (1832<unk>1855), Ann Ruffin (1844<unk>1863) en George Champion Ruffin (1845-1913).