Kun sisällissota alkoi vuonna 1861, Smith toimi Illinoisin kuvernöörin Richard Yatesin avustajana. 26. joulukuuta 1861 hänet nimitettiin 45. Illinoisin vapaaehtoisten jalkaväkirykmentin everstiksi, jonka arvo oli 23. heinäkuuta 1861 korvaamaan edellisen eversti, joka erosi osavaltionsa toimesta, kun rykmentti tuli liittovaltion palvelukseen. Hän johti rykmenttiään Fort Henryn, Fort Donelsonin ja Shilohin taisteluissa. 29. marraskuuta 1862 hänet ylennettiin USA:n vapaaehtoisten prikaatin prikaatin kenraaliin. Hän komensi lyhyesti prikaattia ennen kuin otti komennon 8. divisioonista, XVI-joukkueesta. Kun Ulysses S. Grant aloitti viimeisen taistelunsa Vicksburgia vastaan, Smith sai komennon 1. prikaatista, 3. diviisiosta, XVII korpuksesta. Hän taisteli
Port Gibsonissa, Raymondissa, Champion Hillissä ja Vicksburgin hyökkäyksissä. Kesäkuussa 1863 Vicksburgin piirityksen keskellä Smith valittiin korvatakseen kenraali Isaac F. Quinbyn 7. divisioonan XVII armeijakunnan komennossa, kun Quinby sairastui ja otti vapaata. Syyskuussa 1863 Smith siirrettiin johtamaan 2. divisioonaa, XVII armeijakunta ja hänen divisioonansa lähetettiin William T. Shermanin kanssa auttamaan Chattanoogassa. Missionary Ridge -taistelun aikana Smith osallistui Tunnel Hillin hyökkäyksiin konfederaation oikeaa sivua vastaan.