Stone va lluitar en les principals batalles de la Guerra Civil a
Savage Station, Antietam, Chancellorsville i Gettysburg. Després de patir una greu ferida a Antietam, va ser nomenat segon tinent. Després de la seva tercera ferida a Gettysburg, va ser enviat a un lloc administratiu a Filadèlfia.