Es va capturar a Kentucky i va passar temps a la presó de Libby abans de ser canviat. Més tard, Coburn i el coronel Benjamin Harrison van lluitar junts en diverses batalles mentre estaven sota el comandament del general William Tecumseh Sherman. Durant aquest temps, Coburn i les seves tropes van ser els primers a Atlanta
i va assegurar la rendició de la ciutat. Hi ha un gran marcador al centre d'Atlanta on l'alcalde de la ciutat va rendir la ciutat a Coburn. Va ser reclutat el 20 de setembre de 1864.