Nel 1813, Ruffin sposò Susan Hutchings Travis di Williamsburg. La coppia si trasferì in una piantagione che Ruffin ereditò dal nonno omonimo, a Coggin's Point, lungo il fiume James nella contea di Prince George, che fu notato come il punto di partenza di Benedict Arnold dopo aver cambiato lealtà e fatto incursioni lungo il fiume James (compresa Richmond) nel 1781. Hanno avuto undici figli prima che Susan Ruffin morisse nel 1846, anche se la maggior parte sarebbe morta prima della fine della guerra civile americana e il padre si sarebbe suicidato: Edmund Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816-1865), Julian Calx Ruffin (1821-1864, morto nella battaglia di Drewry's Bluff
), Elizabeth Ruffin Sayre (1821<unk>1860), Rebecca Ruffin Bland (1823<unk>1855), Jane Ruffin Dupuy (1829<unk>1855), Charles Lorraine Ruffin (1832<unk>1870; laureata al VMI che sopravvisse alla guerra), Ella Ruffin (1832<unk>1855), Ann Ruffin (1844<unk>1863) e George Champion Ruffin (1845-1913).