Scrivi una continuazione per questo paragrafo - Zumpe è nato a Zwickau. Dopo aver superato il Notabitur, Zumpe è stato arruolato in servizio militare all'età di diciotto anni. Dopo aver servito sia sul fronte orientale che quello occidentale
Fu prigioniero di guerra fino al 1948. Dopo un periodo come operaio di magazzino, è stato assunto come bibliotecario presso Wismut a Johanngeorgenstadt. Dotato solo delle sue esperienze da bambino nel coro del Zwickau, ha assunto la direzione del coro nell'ensemble culturale di Wismut. Fu qui che Rudolf Fischer della Leipzig Musikhochschule lo scoprì in un concorso di coro e lo portò a Lipsia per studiare.