<prompt> Skryf n voortsetting vir hierdie paragraaf - Toe die Burgeroorlog in 1861 begin het, het Smith as n aide de camp vir die goewerneur van Illinois, Richard Yates, gedien. Op 26 Desember 1861 is hy aangestel as kolonel van die 45ste Illinois Vrywillige Infanterie Regiment, met die rang teruggedateer na 23 Julie 1861 om die vorige kolonel te vervang wat sy staatskommissie bedank het toe die regiment federale diens betree het. Hy het sy regiment gelei by die gevegte van Fort Henry, Fort Donelson en Shiloh. Op 29 November 1862 is hy bevorder tot brigadier-generaal van die Amerikaanse Vrywilligers. Hy het kortliks n brigade gelei voordat hy die bevel van die 8ste Divisie, XVI Korps, oorgeneem het. Toe Ulysses S. Grant sy laaste veldtog teen Vicksburg begin het, is Smith in bevel geplaas van die 1ste Brigade, 3de Divisie, XVII Korps. Hy het in die gevegte van Port Gibson geveg  <response>: Raymond, Champion Hill en in die aanvalle op Vicksburg. In Junie 1863, te midde van die beleg van Vicksburg, is Smith gekies om generaal Isaac F. Quinby te vervang in bevel van die 7de Divisie, XVII Korps nadat Quinby siek geword het en verlof geneem het. In September 1863 is Smith oorgeplaas om die 2de Afdeling, XVII Korps te beveel en sy afdeling is saam met William T. Sherman gestuur om te help met die verligting van Chattanooga. Tydens die Slag van Missionary Ridge, het Smith deelgeneem aan die aanvalle teen die Konfederaat regterflank by Tunnel Hill. 