Hardee va dimitir de la seva comissió de l'Exèrcit dels Estats Units el 31 de gener de 1861, després que el seu estat natal de Geòrgia es separés de la Unió. Es va unir a l'Exèrcit dels Estats Confederats com a coronel el 7 de març i va rebre el comandament de Forts Morgan i Gaines a Alabama. Posteriorment va ser ascendit a general de brigada (17 de juny) i major general (7 d'octubre). El 10 d'octubre de 1862, va ser un dels primers tinents generals confederats. La seva assignació inicial com a general va ser organitzar una brigada de regiments d'Arkansas i va impressionar als seus homes i companys oficials resolent problemes de subministrament difícils i per l'entrenament exhaustiu que va donar a la seva brigada. Va rebre el seu sobrenom, "Old Reliable", mentre estava en aquest comandament. Hardee va operar a Arkansas fins que va ser cridat a unir-se a l'Exèrcit de Kentucky Central del general Albert Sidney Johnston com a comandant de cos. Johnston es retiraria de Kentucky i Tennessee, cap al Mississipí, abans de llançar un atac sorpresa a la Batalla de Shiloh
a la primavera de 1862. Hardee va ser ferit al braç el 6 d'abril de 1862, durant el primer dia de la batalla. Johnston va morir a Shiloh i el cos d'Hardee es va unir a l'Exèrcit de Tennessee del General Braxton Bragg abans del setge de Corint, Mississipí, fins que el Comandant del Departament P.G.T. Beauregard va evacuar la ciutat i es va retirar a Tupelo. Beauregard va ser reemplaçat per Bragg, que posteriorment va traslladar el seu exèrcit a Chattanooga abans d'embarcar-se en la seva ofensiva confederada de Heartland a Kentucky. Aquesta campanya va concloure amb la Batalla de Perryville a l'octubre de 1862, on Hardee va comandar l'ala esquerra de l'exèrcit de Bragg.