Hardee si dimise dal suo incarico nell'esercito statunitense il 31 gennaio 1861, dopo che il suo stato natale della Georgia si era separato dall'Unione. Si unì all'esercito degli Stati Confederati come colonnello il 7 marzo e gli fu dato il comando dei Forti Morgan e Gaines in Alabama. Successivamente fu promosso brigadiere generale (17 giugno) e maggiore generale (7 ottobre). Il 10 ottobre 1862 divenne uno dei primi luogotenenti generali confederati. Il suo incarico iniziale come generale fu quello di organizzare una brigata di reggimenti dell'Arkansas e impressionò i suoi uomini e colleghi ufficiali risolvendo difficili problemi di approvvigionamento e per l'addestramento approfondito che diede alla sua brigata. Ha ricevuto il suo soprannome, "Old Reliable", mentre era in questo comando. Hardee operò in Arkansas fino a quando fu chiamato a unirsi all'esercito del Kentucky centrale del generale Albert Sidney Johnston come comandante del corpo. Johnston si ritirerebbe dal Kentucky e dal Tennessee, nel Mississippi, prima di lanciare un attacco a sorpresa nella battaglia di Shiloh
nella primavera del 1862. Hardee fu ferito al braccio il 6 aprile 1862, durante il primo giorno della battaglia. Johnston fu ucciso a Shiloh e il corpo di Hardee si unì all'esercito del Tennessee del generale Braxton Bragg prima dell'assedio di Corinth, Mississippi, fino a quando il comandante del dipartimento P.G.T. Beauregard evacuò la città e si ritirò a Tupelo. Beauregard fu sostituito da Bragg, che successivamente spostò il suo esercito a Chattanooga prima di intraprendere la sua offensiva confederata Heartland in Kentucky. Quella campagna si concluse con la battaglia di Perryville nell'ottobre 1862, dove Hardee comandò l'ala sinistra dell'esercito di Bragg.