Vuonna 1813 Ruffin meni naimisiin Susan Hutchings Travisin kanssa. Pariskunta muutti plantaasiin, jonka Ruffin peri nimimiehen isoisältään, Coggin's Pointissa, James-joen varrella Prince George -piirikunnassa, joka huomattiin Benedict Arnoldin lähtöpaikkana sen jälkeen, kun hän vaihtoi uskollisuutta ja hyökkäsi James-joen varrella (mukaan lukien Richmond) vuonna 1781. Heillä oli yksitoista lasta ennen kuin Susan Ruffin kuoli vuonna 1846, vaikka useimmat kuolisivat ennen kuin Yhdysvaltain sisällissota päättyi ja heidän isänsä teki itsemurhan: Edmund Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816<unk>1865), Julian Calx Ruffin (1821<unk>1864, joka kuoli Drewry's Bluffin -taistelussa
), Elizabeth Ruffin Sayre (1821-1860), Rebecca Ruffin Bland (1823-1855), Jane Ruffin Dupuy (1829-1855), Charles Lorraine Ruffin (1832-1870; VMI-tutkinnon suorittanut, joka selvisi sodasta), Ella Ruffin (1832-1855), Ann Ruffin (1844-1863) ja George Champion Ruffin (1845-1913).