Escriu una continuació per a aquest paràgraf - El 1863, la bateria d'Elder va ser assignada a la Brigada d'Artilleria de Cavals dels Estats Units, on va servir durant la major part de la resta de la guerra. Va obtenir un ascens permanent a capità l'1 d'agost de 1863. Desallotjat breument el febrer de 1864, Elder va ser citat per la seva valentia a la Batalla d'Olustee a Florida, i va rebre el brevet de promoció a major. Tornant a l'artilleria de cavall, va ser citat per accions a Drewry's Bluff
, 5 de maig de 1864, i va ser brevetted tinent coronel. Va romandre amb l'Exèrcit després de la guerra, i va ser ascendit a major a la 2a Artilleria dels Estats Units, el 30 de juny de 1882.