Nel 1863, la batteria di Elder fu assegnata alla U.S. Horse Artillery Brigade, dove servì per la maggior parte del resto della guerra. Ha ottenuto una promozione permanente a capitano il 1 agosto 1863. Rilasciato brevemente nel febbraio 1864, Elder fu citato per la galanteria nella battaglia di Olustee in Florida, e gli fu assegnata la promozione brevetto a maggiore. Tornato all'artiglieria a cavallo, fu nuovamente citato per le azioni a Drewry's Bluff
Il 5 maggio 1864 fu promosso tenente colonnello. Rimase con l'esercito dopo la guerra, e fu promosso maggiore nella 2a artiglieria degli Stati Uniti, il 30 giugno 1882.