Després de la caiguda de Vicksburg, la divisió d'Osterhaus va ser transferida a Tennessee. A la Campanya de Chattanooga va ajudar al major general Joseph Hooker a la captura de Lookout Mountain. Osterhaus va participar en la campanya d'Atlanta, però una baixa de malaltia d'un mes el va fer perdre la crucial Batalla d'Atlanta.
- No. No obstant això, va tornar al comandament i va jugar un paper significatiu a la Batalla de Jonesborough. Després de la captura d'Atlanta, va rebre el comandament del XV Cos, un dels quatre cossos en els quals es va consolidar l'exèrcit, en la Marxa de Sherman cap al mar. El març de 1865 Osterhaus va ser nomenat cap d'estat major de la Divisió Militar de l'oest de Mississipí sota el comandament del major general Edward Canby, un comandant amb poca experiència de combat en alt comandament. Osterhaus va servir Canby durant les batalles de Spanish Fort i Fort Blakely. Quan Edmund Kirby Smith va rendir les forces confederades al Teatre Trans-Mississippi, Osterhaus va ser enviat com a representant de Canby i, per tant, va signar personalment els documents en nom de l'exèrcit de la Unió.