A pesar de la seva joventut, Kirkland es va al·legar a l'Exèrcit Confederat el 1861, poc després que es declarés la guerra, abans que els seus germans majors. Primer va ser assignat a la Companyia E, 2nd South Carolina Volunteer Infantry, però més tard va ser transferit a la Companyia G del mateix regiment, i va ser ascendit a sergent. Va entrar en acció durant la Primera Batalla de Bull Run (Primer Manassas), i més tard a la Batalla de Savage's Station
, Batalla de Maryland Heights i Batalla d'Antietam, durant la qual molts dels seus amics més propers del comtat de Kershaw van morir.