Stanford nació en Watervliet en 1824, agora parte de la ciudá de Colonie. Foi unu de los ocho fíos de Josías y Elizabeth Phillips Stanford. El padre de Stanford yera un llabrador d'economía media. Asistió a la escuela común hasta 1840 y foi educáu na so casa hasta 1839. Asistió al Clinton Lliberal Ins]], y estudió derechu nel Seminariu Cazenovia en Cazenovia, Nueva York ente 1841-45. En 1845 incorporar a la firma d'abogaos de Wheaton, Doolittle y Hadley en Albany.