Vuonna 1864 Osborn komensi 1. prikaattia, 1. divisioonaa XXIV armeijan armeijassa. Osborn haavoittui pahasti Drewry's Bluffin taistelussa.
14. toukokuuta 1864, kun muskettipallo murskasi hänen oikean kyynärpäässään ja iski hänen käsivarteensa. Hän viipyi sairaalassa syyskuuhun asti ennen kuin hänet vapautettiin palvelukseen. Joulukuussa hän oli toipunut tarpeeksi ilmoittautumaan palvelukseen. Hän kärsi kuitenkin haavoittuneesta kyynärpäästä koko loppuelämänsä ajan.