Completa la següent frase: Quan va començar la Guerra Civil el 1861, Smith va servir com a ajudant de camp del governador d'Illinois, Richard Yates. El 26 de desembre de 1861 va ser nomenat coronel del 45è Regiment de Voluntaris d'Infanteria d'Illinois, amb el rang retroactivament datat al 23 de juliol de 1861 per reemplaçar el coronel anterior que va dimitir de la seva comissió estatal quan el regiment va entrar en servei federal. Va dirigir el seu regiment a les batalles de Fort Henry, Fort Donelson i Shiloh. El 29 de novembre de 1862 va ser ascendit a general de brigada dels Voluntaris dels Estats Units. Va comandar breument una brigada abans de prendre el comandament de la 8a Divisió, XVI Cos. Quan Ulysses S. Grant va començar la seva campanya final contra Vicksburg, Smith va ser col·locat al comandament de la 1a Brigada, 3a Divisió, XVII Cos. Va lluitar en les batalles de
Port Gibson, Raymond, Champion Hill i en els assalts a Vicksburg. El juny de 1863, enmig del setge de Vicksburg, Smith va ser escollit per reemplaçar el general Isaac F. Quinby al comandament de la 7a Divisió, XVII Cos després que Quinby es va posar malalt i es va prendre una baixa. Al setembre de 1863, Smith va ser transferit per comandar la 2a Divisió, XVII Cos i la seva divisió va ser enviada amb William T. Sherman per ajudar en el relleu de Chattanooga. Durant la batalla de Missionary Ridge, Smith va participar en els atacs contra el flanc dret confederat a Tunnel Hill.