Nonostante la sua gioventù, Kirkland si arruolò nell'esercito confederato nel 1861, non molto tempo dopo la guerra, prima dei suoi fratelli maggiori. Fu assegnato alla Compagnia E, 2nd South Carolina Volunteer Infantry, ma fu successivamente trasferito alla Compagnia G dello stesso reggimento, e fu promosso sergente. Ha visto per la prima volta l'azione durante la prima battaglia di Bull Run (Prima Manassas), e più tardi nella battaglia di Savage's Station
, battaglia per Maryland Heights e battaglia di Antietam, durante la quale molti dei suoi amici più stretti della contea di Kershaw furono uccisi.