Stone syntyi Los Angelesissa juutalaisille vanhemmille. Hänen äitinsä Hilda (syntymäkoodi Hess) oli elokuvaskriittari, ja hänen isänsä John Stone (syntynyt Saul Strumwasser) oli monien mykkäelokuvien, kuten Tom Mixin, Buck Jonesin, Shirley Templen ja Charlie Chanin elokuvien, kirjoittaja ja tuottaja. Hilda oli Baijerin juutalainen Bambergistä, mutta hän syntyi Meksikossa (isänsä vältteli asevelvollisuutta 1870-luvulla) ja asui siellä viisi vuotta perheensä kanssa, kunnes kaikki ulkomaalaiset erotettiin Meksikon sodan aikana.
Meksikon vallankumous 1910. Stonen veli David oli toisen maailmansodan veteraani, joka palveli laivastossa.