Nació en mayu de 1820 en Gardiner's Island, Nueva York, una de les islles de propiedá privada más grandes d'EE.XX., como la tercera de los cuatro fíos de David Gardiner (1784-1844), abogáu y senador, y la so esposa Xuliana (1799-1864).