Robert Bober syntyi Berliinissä 1931. Hänen vanhempansa olivat puolalaisia juutalaisia. Vuonna 1933 perhe pakeni natsismia ja otti turvapaikan Ranskaan. Varhaisen varoituksen ansiosta perhe onnistui välttämään Velodrome d'Hiverin pidätyksen.
Heinäkuussa 1942, missä monet juutalaiset tapettiin tai karkotettiin. 16-vuotiaana hän alkoi oppia räätälijäksi, ja niin hän tienasi elantonsa, kunnes 22-vuotiaana hän alkoi muodostaa savenvalmistajia. Kesälomissaan hän vietti aikaa lasten kanssa, jotka olivat menettäneet perheensä toisen maailmansodan aikana.