Després de la invasió alemanya de Grècia, el 1941, els alemanys nazis el van traslladar al camp de concentració de Dachau, d'on va ser alliberat el maig de 1945. Tornant a Grècia, va tornar a assumir el lideratge del KKE de Georgios Siantos, secretari general interí del KKE des de gener de 1942. La sangosa Dekemvriana
l'esdeveniment acabava de acabar amb la derrota comunista. Zachariadis ara va declarar la seva intenció política de que el KKE lluiti per la democràcia i el poder del poble a través d'eleccions.