Завърши следното изречение: Харди подаде оставка от армията на САЩ на 31 януари 1861 г., след като родният му щат Джорджия се отдели от Съюза. Той се присъединява към армията на Конфедеративните щати като полковник на 7 март и получава командването на Форт Морган и Гейнс в Алабама. Впоследствие е повишен в бригаден генерал (17 юни) и генерал-майор (7 октомври). До 10 октомври 1862 г. той е един от първите конфедеративни лейтенант-генерали. Първоначалната му задача като генерал е да организира бригада от полкове на Арканзас и той впечатлява хората си и колегите си офицери, като решава трудни проблеми с доставките и за задълбоченото обучение, което дава на бригада си. Той получава прякора си "Старият надежден", докато е с тази команда. Харди действа в Арканзас, докато не е призован да се присъедини към армията на генерал Албърт Сидни Джонстън в Централен Кентъки като командир на корпуса. Джонстън ще се оттегли от Кентъки и Тенеси, в Мисисипи, преди да започне изненадваща атака на
Битката при Шило през пролетта на 1862. Харди е ранен в ръката на 6 април 1862 г., по време на първия ден от битката. Джонстън е убит в Шило, а корпусът на Харди се присъединява към армията на генерал Бракстън Браг от Тенеси преди обсадата на Коринт, Мисисипи, докато командирът на отдела П.Г.Т. Борегард евакуира града и се оттегля в Тупело. Борегард е заменен от Браг, който впоследствие премества армията си в Чаттануга, преди да предприеме офанзивата си в Кентъки. Тази кампания завършва с битката при Перивил през октомври 1862 г., където Харди командва лявото крило на армията на Браг.