Allen si dimise il 2 maggio 1953 e Jack Butler, ex giocatore dell'Arsenal, fu nominato suo sostituto. Butler era stato allenatore in Belgio ed era stato responsabile della nazionale belga tra il 1935 e il 1940, portandoli alla Coppa del Mondo FIFA del 1938
Le finali. Si dimise nel gennaio 1955 e il consiglio scelse Benny Fenton come giocatore-manager. Ha trascorso otto anni con il club, subendo la retrocessione per la prima volta nella storia del club nel 1961, solo per tornare alla Terza Divisione al primo tentativo. Fenton se ne andò per prendere il posto di Orient nel novembre del 1963.