Viết tiếp cho đoạn này - Allen từ chức vào ngày 2 tháng 5 năm 1953 và Jack Butler, một cựu cầu thủ Arsenal, được bổ nhiệm thay thế. Butler đã huấn luyện ở Bỉ và đã phụ trách đội tuyển quốc gia Bỉ từ năm 1935 đến năm 1940, dẫn dắt họ đến World Cup FIFA 1938
Trận chung kết. Ông từ chức vào tháng 1 năm 1955 và hội đồng quản trị đã chọn Benny Fenton làm người quản lý cầu thủ. Ông đã dành tám năm với câu lạc bộ, chịu sự xuống hạng lần đầu tiên trong lịch sử câu lạc bộ vào năm 1961, chỉ để trở lại Giải hạng Ba trong nỗ lực đầu tiên. Fenton rời đi để tiếp quản tại Orient vào tháng 11 năm 1963.