Es va unir a l'Exèrcit de la Unió com a soldat de la Companyia E del 49è Regiment de Voluntaris de Nova York el juny de 1861, arribant a ser sergent. Amb l'Exèrcit del Potomac, la seva unitat va participar en batalles que incloïen Young's Mill, Yorktown, Williamsburg, Mechanicsville, Fair Oaks, Gaines's Mill, Savage's Station
, Malvern Hill, Second Bull Run, South Mountain, Antietam, Fredericksburg, Williamsport, Gettysburg, Mine Run, Wilderness, Cold Harbor, Petersburg i altres. Walsh va ser presoner durant les operacions contra el ferrocarril Welden poc abans de l'expiració del seu termini d'enlistament i va ser presoner a Belle Isle, la presó de Libby, Andersonville, Savannah, Castle Pinckney i Florence Stockade, abans de ser canviat i retornat a Annapolis, Indiana, on va ser lliurat honorablement el 5 de maig de 1865. En algun moment després d'això, va passar vuit anys treballant al "Wisconsin State Journal" a Madison.