Baldwin syntyi Dutchessin piirikunnassa New Yorkissa ja varttui siellä perheen maatilalla. Hän kävi lukion Red Creekissä, New Yorkissa, ja opetti myöhemmin kouluissa sekä Rhode Islandissa että Connecticutissa. 13. huhtikuuta 1861 hän liittyi liittovaltion armeijaan neljän veljensä kanssa, joista yksi kuoli taistelussa Resacan taistelussa.
- Mitä? Hänet valittiin kapteeniksi C-ryhmään, 36. rykmenttiin, Illinoisin vapaaehtoisjalkaväkeen. Rykmentti lähetettiin Missooriin, ja helmikuussa 1862 hänet nimitettiin kvartemestariksi. Saman vuoden elokuussa hänet ylennettiin everstiluutnanttiksi 8. Missouriin vapaaehtoisen ratsuväen rykmentissä.