Skryf 'n voortsetting vir hierdie paragraaf - Davidson is in Fairfax County, Virginia, gebore. Hy was die seun van William B. Davidson, 'n artillerie-offisier in die Verenigde State se weermag, en die voormalige Elizabeth Chapman Hunter. Hy was die oudste van vier seuns; sy broers was Hunter, Roger en Charles. Sy pa is dood aan 'n siekte terwyl hy in Florida gedien het tydens die Tweede Seminole Oorlog
in die 1840's. Sy ma het tien jaar later gesterf, kort nadat sy weer getrou het.