Oppenheimer được sinh ra ở thành phố New York vào ngày 22 tháng 4 năm 1904, là con của Julius Oppenheimer, một nhà nhập khẩu dệt may người Do Thái giàu có đã nhập cư sang Hoa Kỳ từ Đức vào năm 1888, và Ella Friedman, một họa sĩ. Julius đến Mỹ khi không có tiền, không có học đại học, và không có kiến thức về tiếng Anh. Ông đã có một công việc trong một công ty dệt may và trong vòng một thập kỷ là một giám đốc điều hành với công ty. Ella đến từ Baltimore. Các Oppenheimer là người Do Thái Ashkenazi không quan sát. Năm 1912, gia đình chuyển đến một căn hộ ở tầng 11 của 155 Riverside Drive, gần West 88th Street, Manhattan, một khu vực nổi tiếng với những biệt thự xa hoa và thị trấn. Công việc của họ bao gồm các tác phẩm của Pablo Picasso và Édouard Vuillard, và ít nhất ba bức tranh gốc của Robert Vincent van Gogh.
ba năm