Durant la Guerra Civil Americana, Bump va servir al 25è Regiment d'Infanteria de Wisconsin de l'Exèrcit de la Unió. Entre els enfrontaments en què va participar hi ha la Batalla de Resaca
de la campanya d'Atlanta. Va aconseguir el rang de primer sergent.