Completa la següent frase: Baldwin va néixer a Dutchess County, Nova York, i va créixer a la granja familiar allà. Va assistir a l'escola secundària a Red Creek, Nova York, i més tard va ensenyar a l'escola tant a Rhode Island com a Connecticut. El 13 d'abril de 1861, es va unir a l'Exèrcit de la Unió juntament amb els seus quatre germans, un dels quals va morir en acció a la batalla de
Batalla de Resaca. Inicialment va ser elegit com a capità de la Companyia C, 36è Regiment, Infanteria Voluntària d'Illinois. El regiment va ser enviat a Missouri, i al febrer de 1862 va ser nomenat quartermaster. A l'agost del mateix any va ser ascendit a tinent coronel, al capdavant del 8è Regiment de Cavalleria Voluntària de Missouri.