Дейвидсън е роден във Фейрфакс Каунти, Вирджиния. Той е син на Уилям Б. Дейвидсън, артилерийски офицер в армията на Съединените щати, и бившата Елизабет Чапман Хънтър. Той е най-големият от четирима синове; неговите братя са Хънтър, Роджър и Чарлз. Баща му умря от болест, докато служеше във Флорида по време на
Втората Семинола война през 1840 г. Майка му починала десет години по-късно, малко след като се омъжила за втори път.