Escriu una continuació per a aquest paràgraf - Davidson va néixer a Fairfax County, Virginia. Era fill de William B. Davidson, un oficial d'artilleria de l'Exèrcit dels Estats Units, i de l'antiga Elizabeth Chapman Hunter. Era el més gran de quatre fills; els seus germans eren Hunter, Roger i Charles. El seu pare va morir d'una malaltia mentre servia a Florida durant la Segona Guerra Seminole.
el 1840. La seva mare va morir deu anys més tard, poc després de tornar a casar-se.