Davidson Fairfax konderrian jaio zen, Virginia. William B. Davidson, Estatu Batuetako Armadako artilleria ofiziala eta Elizabeth Chapman Hunterren semea zen. Lau semeetatik zaharrena zen; bere anaiak Hunter, Roger eta Charles ziren. Aita gaixotasunez hil zen Floridan.
Seminole Gerrako bigarren bataila, 1840an. Ama hamar urte beranduago hil zitzaion, berriro ezkondu eta berehala.