Scrivi una continuazione per questo paragrafo - Davidson è nato nella contea di Fairfax, in Virginia. Era figlio di William B. Davidson, un ufficiale di artiglieria nell'esercito degli Stati Uniti, e dell'ex Elizabeth Chapman Hunter. Era il più grande di quattro figli; i suoi fratelli erano Hunter, Roger e Charles. Suo padre morì di una malattia mentre serviva in Florida durante la seconda guerra Seminole.
Nel 1840. La madre morì dieci anni dopo, poco dopo essersi risposata.