Từ năm 1954, Oppenheimer sống vài tháng trong năm trên đảo Saint John thuộc Quần đảo Virgin Hoa Kỳ. Năm 1957, ông mua một mảnh đất 2 mẫu Anh (0,81 ha) trên bãi biển Gibney, nơi ông xây dựng một ngôi nhà Sparta trên bãi biển. Ông dành một lượng đáng kể thời gian đi thuyền với con gái Toni và vợ Kitty.
2 mẫu Anh