Speer valittiin demokraatiksi 42. ja 43. kongressiin. Hän ei ollut ehdokkaana vuonna 1874. Hän oli valtuutettu Demokraattien Kansalliskokoukseen vuonna 1872 ja
Vuosi 1880. Hän jatkoi asianajajan ammattiaan ja vuonna 1876 hänestä tuli yksi "Huntingdon Monitorin" omistajista. Hän oli epäonnistunut ehdokas vuoden 1880 vaaleissa 47. kongressiin. Hän kuoli New Yorkissa vuonna 1890. Hautajaiset ovat Riverview-hautausmaalla Huntingdonissa, Pennsylvaniassa.