Escriu una continuació per a aquest paràgraf - En 1813, Ruffin es va casar amb Susan Hutchings Travis de Williamsburg. La parella es va traslladar a una plantació que Ruffin va heretar del seu avi homònim, a Coggin's Point, al llarg del riu James al comtat de Prince George, que es va notar com el punt de partida de Benedict Arnold després que va canviar de lleialtat i va atacar al llarg del riu James (incloent Richmond) el 1781. Van tenir onze fills abans que Susan Ruffin morís el 1846, tot i que la majoria moriria abans que la Guerra Civil Americana acabasse i el seu pare es suicidés: Edmund Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816-1865), Julian Calx Ruffin (1821-1864, que va morir a la Batalla de Drewry's Bluff
Elizabeth Ruffin Sayre (1821-1860), Rebecca Ruffin Bland (1823-1855), Jane Ruffin Dupuy (1829-1855), Charles Lorraine Ruffin (1832-1870; graduada de VMI que va sobreviure a la guerra), Ella Ruffin (1832-1855), Ann Ruffin (1844-1863) i George Champion Ruffin (1845-1913).