Харьковта йәһүд ғаиләһендә тыуған[3][4]. Ата-әсәһе никахҡа инер алдынан лютеранлыҡты ҡабул итәләр[5]. Атаһы, Рытов Михаил Михайлович, коммерция белеме алған, «Блок» фирмаһында, һуңыраҡ Рәсәйҙе шариклы подшипниктар менән тәьмин итеүсе SKF швед фирмаһында идарасы булып эшләй. Сергей бала сағында полиомиелит менән ауырый, сатан булып ҡала. Уға ике йәш булғанда ғаилә Мәскәүгә күсенә, унда 1916 йылда, ата-әсәһе айырылыша. Атаһы яңы ғаилә ҡора. Өлкән ҡыҙы Нина атаһы менән тороп ҡала, ә Сергей әсәһе Евгения Владимировна (Розалия Евсеевна) Волькензон менән йәшәй, ул 1916—1917 йылдарҙа Е. Б. Вахтангов студияһында актриса булып эшләй.