1861ean, Gerra Zibila hasi zenean, Smith konfiantzazko laguntzaile izan zen Richard Yates, Illinoiseko gobernadorearentzat. 1861eko abenduaren 26an Illinoiseko Boluntario Infanteriako 45. erregimentuko koronela izendatu zuten, erregimentuak zerbitzu federalean sartu zenean dimisioa eman zuen aurreko koronela ordezkatzeko. Bere erregimentuaren buru izan zen Henry gotorlekuaren, Donelson gotorlekuaren eta Shiloh-eko guduetan. 1862ko azaroaren 29an AEBetako Boluntarioen brigada-generalaren mailara igo zuten. Brigada baten agintea hartu zuen XVI. Korpusean, 8. Dibisioko agintea hartu aurretik. Ulysses S. Grantek Vicksburg-en aurkako bere azken kanpaina hasi zuenean, Smith 1. brigadako, 3. dibisioko, XVII. Port Gibsoneko batailan borrokatu zen.
Raymond, Champion Hill eta Vicksburgeko erasoak. 1863ko ekainean, Vicksburgeko setioaren erdian, Smith aukeratu zuten Isaac F. Quinby jenerala ordezkatzeko, VII. Dibisioko XVII. Gorputzaren agintean, Quinby gaixotu eta baja hartu ondoren. 1863ko irailean, Smith II. Dibisioko XVII. Gorputzaren agintea hartu zuen eta bere dibisioa William T. Shermanekin batera bidali zuten Chattanoogako erliebean laguntzera. Missionary Ridge-ko guduan, Smith-ek Tunnel Hill-en konfederatuen eskuin hegalearen aurkako erasoetan parte hartu zuen.