Na Hungria, como brasileiro nato, Andor passou uma infância feliz e comum, embora fosse tratado como estrangeiro. As coisas mudaram quando a Segunda Guerra Mundial (1939-1945) eclodiu. No momento em que o governo de Getúlio Vargas alinhou-se com os chamados países aliados (inimigos do Eixo, então liderado pela Alemanha e do qual a Hungria fazia parte), por ser brasileiro, Stern foi detido em uma instituição como inimigo estrangeiro pelas autoridades húngaras.
Foi uma estada breve: em poucas semanas, escapou com a ajuda de um detento americano de quem ficara amigo e, graças a isso, voltou à casa de sua família, onde passou a viver escondido. Ele tinha apenas 13 anos. Agora, o problema não era mais ele ser brasileiro: era ser judeu.