Completa la seguente frase: Dal 1923 al 1924, Phelps ricoprì il posto di Vice Commissario per gli Affari dei Veterani della città di New York. Fu membro repubblicano dell'Assemblea dello Stato di New York per Greenwich Village nel 1924, 1925, 1926, 1927 e 1928. Nel 1928, si candidò per una nomina alla Camera dei Rappresentanti degli Stati Uniti, ma perse la primaria contro Ruth Baker Pratt, che sarebbe diventata la prima deputata di New York. Dopo la Convenzione Nazionale Repubblicana del 1932, Phelps divenne un Democratico, e viaggiò alla Convenzione Nazionale del 1936,
Nel 1956 e nel 1960 alla Convenzione Nazionale Democratica come delegato. Fu di nuovo membro dell'Assemblea dello Stato (New York Co., 3rd D.) nel 1937 e nel 1938; e membro del Senato dello Stato di New York (13th D.) dal 1939 al 1942, seduto nelle 162 e 163 Legislature dello Stato di New York.