Voltooi die volgende sin: Davidson is in Fairfax County, Virginia, gebore. Hy was die seun van William B. Davidson, 'n artillerie-offisier in die Verenigde State se weermag, en die voormalige Elizabeth Chapman Hunter. Hy was die oudste van vier seuns; sy broers was Hunter, Roger en Charles. Sy pa het aan 'n siekte gesterf terwyl hy in Florida gedien het gedurende die
Tweede Seminole Oorlog in 1840. Sy ma het tien jaar later gesterf, kort nadat sy weer getrou het.