Sisällissodan syttyessä Osterhaus nimitettiin 2. Missouriin vapaaehtoisen jalkaväen majuriksi ja ensimmäisen sotavuoden aikana hänet lähetettiin Missouriin ja Arkansasiin, missä hän otti huomattavan osan Wilson's Creekin taistelusta ja Pea Ridgen taistelusta. Pea Ridgessä hän komensi joukkoja, jotka ensiksi ottivat yhteyttä liiton vasemmalle eteneviin liittolaisjoukkoihin. Hänet ylennettiin prikaatin kenraaliksi 9. kesäkuuta 1862. Vuonna 1863 hän komensi divisioonaa Port Gibsonin taistelussa.
Hän osoitti taktisia kykyjä, kun hän sai konfederaation puolustajat pois suotuisasta asemasta.