Latimerin toisen opiskeluvuoden aikana syttyi sisällissota, ja Latimer lähti VMI:stä palvelemaan Eteläistä Konfederaatiota. Hän toimi ensin kadettiharjoittelijana Richmond Hampdenin tykistössä keväällä ja kesällä 1861. Syksyllä hänet nimitettiin ensimmäisenä luutnanttina ja hän näki taistelua kenraalimajuri Richard S. Ewellin divisioonan kanssa Shenandoahin laakson kampanjassa vuonna 1862. Erotteltuaan itseään patterioillaan sellaisissa taisteluissa kuin Ensimmäinen Winchester
Latimer ylennettiin komentajaksi A. R. Courtneyn pataljoonaan. Komentaessaan pataljoonaa Fredericksburgissa joulukuussa 1862 Latimeria ylennettiin majuriksi maaliskuussa 1863. Ewell kutsui häntä "nuoreksi Napoleoniksi", mutta hänen aikalaisensa huomasivat hänen nuoruutensa ja pienen, kevyen kasvonsa kutsumalla häntä "Boy Majoriksi". Hänestä tuli upseeri majuri Richard Snowden Andrewsin pataljoonissa majuri kenraali Edward "Allegheny" Johnsonin diviisiossa.