Davidson syntyi Fairfaxin piirikunnassa Virginiassa. Hän oli William B. Davidsonin, Yhdysvaltain armeijan tykistöupseerin ja entisen Elizabeth Chapman Hunterin poika. Hän oli vanhin neljästä pojasta; hänen veljensä olivat Hunter, Roger ja Charles. Hänen isänsä kuoli sairauteen palvellessaan Floridassa
Toinen seminolien sota vuonna 1840. Hänen äitinsä kuoli kymmenen vuotta myöhemmin, pian sen jälkeen kun hän oli mennyt uudelleen naimisiin.