Durante la guerra di secessione americana, Bump servì nel 25° Reggimento di fanteria del Wisconsin dell'esercito dell'Unione. Gli scontri a cui ha preso parte includono la battaglia di Resaca
della campagna di Atlanta. Ha raggiunto il grado di primo sergente.