Kun 11 eteläistä osavaltiota erosivat ja sisällissota alkoi, Miller liittyi armeijaan. 27. elokuuta 1861 kuvernööri Oliver P. Morton nimitti Millerin 29. Indiana-jalkaväen everstiksi. Koulutuksen jälkeen rykmentti määrättiin Kirkin prikaattiin Alexander M. McCookin diviisiossa Buellin Ohion armeijassa ja marssi Tennesseen. Miller osallistui taisteluun Shilohin taistelun toisena päivänä
, samoin kuin Korinton piirityksen aikana. Miller johti rykmenttinsä Pohjois-Alabaman ja Tennesseen läpi ja ajoi Braxton Braggia takaa Kentuckyn läpi. Miller komensi prikaatin James Negleyn johdolla Stones Riverin taistelussa joulukuun lopulla 1862. Taistelun toisena päivänä Miller johti liittovaltion vastahyökkäystä Stones Riverin yli, joka torjui John C. Breckinridgen hyökkäyksen. Tämän hyökkäyksen aikana Miller haavoittui kaulaan.