Stone syntyi Los Angelesissa juutalaisille vanhemmille. Hänen äitinsä Hilda (syntymäkoodi Hess) oli elokuvaskriittari, ja hänen isänsä John Stone (syntynyt Saul Strumwasser) oli monien mykkäelokuvien, kuten Tom Mixin, Buck Jonesin, Shirley Templen ja Charlie Chanin elokuvien, kirjoittaja ja tuottaja. Hilda oli Baijerin juutalainen, mutta hän syntyi Meksikossa (hänen isänsä vältteli värväystä 1870-luvulla) ja asui siellä viisi vuotta perheensä kanssa, kunnes kaikki ulkomaalaiset karkotettiin Meksikon vallankumouksessa vuonna 1910.
- Mitä? Stonen veli David oli toisen maailmansodan veteraani, joka palveli laivastossa.