Dopo la caduta di Vicksburg, la divisione di Osterhaus fu trasferita nel Tennessee. Nella campagna di Chattanooga aiutò il maggiore generale Joseph Hooker nella cattura di Lookout Mountain. Osterhaus poi partecipò alla campagna di Atlanta ma un mese di congedo per malattia gli fece perdere la cruciale battaglia di Atlanta.
- No, no. Tuttavia, tornò al comando e giocò un ruolo significativo nella battaglia di Jonesborough. Dopo la cattura di Atlanta, ricevette il comando del XV Corpo, uno dei quattro corpi in cui l'esercito fu consolidato, nella Marcia di Sherman verso il Mare. Nel marzo 1865 Osterhaus fu nominato capo di stato maggiore della Divisione Militare del Mississippi Occidentale sotto il comando del maggiore generale Edward Canby, un comandante con poca esperienza di combattimento nell'alto comando. Osterhaus servì Canby durante le battaglie di Spanish Fort e Fort Blakely. Quando Edmund Kirby Smith si arrese alle forze confederate nel teatro Trans-Mississippi, Osterhaus fu inviato come rappresentante di Canby e quindi firmò personalmente i documenti a nome dell'esercito dell'Unione.