Si arruolò nell'esercito dell'Unione come soldato nella Compagnia E del 49esimo Reggimento di Fanteria Volontaria di New York nel giugno del 1861, arrivando al grado di sergente ordinario. Con l'Esercito del Potomac la sua unità partecipò a battaglie che includevano Young's Mill, Yorktown, Williamsburg, Mechanicsville, Fair Oaks, Gaines's Mill, Savage's Station
, Malvern Hill, Second Bull Run, South Mountain, Antietam, Fredericksburg, Williamsport, Gettysburg, Mine Run, Wilderness, Cold Harbor, Petersburg e altri. Walsh fu preso prigioniero durante le operazioni contro la Welden Railroad poco prima della scadenza del suo periodo di arruolamento e fu prigioniero a Belle Isle, Libby Prison, Andersonville, Savannah, Castle Pinckney e Florence Stockade, prima di essere scambiato e restituito ad Annapolis, Indiana, dove fu congedato con onore il 5 maggio 1865. A un certo punto dopo questo, ha trascorso otto anni lavorando al "Wisconsin State Journal" a Madison.