Jarvis syntyi 27. kesäkuuta 1845 Afrikassa, Ohiossa. Yhdysvaltain sisällissodan aikana hän palveli 23. Wisconsinin vapaaehtoisjalkaväkirykmentissä. Hän osallistui muun muassa
Grand Gulfin taistelu, Port Gibsonin taistelu, Jacksonin taistelu, Champion Hillin taistelu, Big Black River Bridgen taistelu, Vicksburgin piiritys ja Espanjan linnoituksen taistelu.