Oppenheimer New York-en jaio zen 1904ko apirilaren 22an, Julius Oppenheimer, 1888an Alemaniatik Ameriketako Estatu Batuetara etorritako ehunen inportatzaile judu aberatsaren eta Ella Friedman margolariaren seme-alabak. Julius 18 urterekin Ameriketara etorri zen, ez dirurik, ez lizentziatura ikasketarik, eta ez ingeles hizkuntzaren ezagutzarik. Ehun urtean lan bat lortu zuen ehungintza enpresa batean eta hamarkada baten buruan enpresako exekutibo bat izan zen. Ella Baltimorekoa zen. Oppenheimer familia ez ziren judu askenasiak. 1912an, familia Riverside Drive-eko 115. solairuko apartamentu batera joan zen bizitzera, West 88th Street-etik gertu, Manhattan-en, luxuzko etxebizitzak eta etxebizitzak ezagunak diren eremu batean.
Hiru urte.