Fill d'un metge i una dona de casa, Zeman també està relacionat amb Čestmír Vycpálek, ex jugador i entrenador de la Juventus, que era el seu oncle per part de la seva mare. El 1968 Zeman va anar a Palermo per visitar-lo; però, al mateix temps, el seu país va ser envaït per les tropes del Pacte de Varsòvia.
, així que va decidir quedar-se indefinidament a Itàlia.