Completa la seguente frase: Baldwin è nato a Dutchess County, New York, e cresciuto nella fattoria di famiglia. Frequentò la scuola superiore a Red Creek, New York, e in seguito insegnò a scuola sia a Rhode Island che nel Connecticut. Il 13 aprile 1861, si arruolò nell'esercito dell'Unione insieme ai suoi quattro fratelli, uno dei quali sarebbe stato ucciso in azione alla
Battaglia di Resaca. Inizialmente fu eletto capitano della Compagnia C, 36° Reggimento, Fanteria Volontaria dell'Illinois. Il reggimento fu inviato nel Missouri, e nel febbraio 1862 fu nominato quartier generale. Nell'agosto dello stesso anno fu promosso tenente colonnello dell'8° Reggimento di Cavalleria Volontaria del Missouri.