Suo fratello, John Q. Marr (1825-1861), insegnò al Virginia Military Institute (VMI) come assistente professore di matematica e tattica dopo la laurea, ma tornò a casa nel 1848 per prendersi cura di sua madre e delle sorelle Sarah/Sally (1819-1895), Margaret (1830-1903), Frances e Jane (1840-1927). I suoi fratelli, Thomas Scott Marr (1830-1897) e James Ripon Marr (1832-1879), lasciarono la casa nel 1850. Suo fratello, Robert Athelstan Marr (1823-1854), era un tenente della Marina degli Stati Uniti; ha preso parte alla guerra messicano-americana; ha sparato il primo colpo nell'attacco navale a Vera Cruz
E fu persa nel Mar dei Caraibi con l'intero equipaggio della USS Albany, nell'ottobre del 1854.