Svanidze synnytti 18. maaliskuuta 1907 pojan, Iakobin, ja sekä Jughashvili että hänen äitinsä olivat läsnä syntymässä. Jughashvili jatkoi työtään Jakovin syntymän jälkeen, vaikka hänkin leikki hänen kanssaan toisinaan ja kutsui lasta "Patsaniksi" (laddie). Muutamaa kuukautta Iakobin syntymän jälkeen Jughashvili osallistui Tiflisin pankkiryöstöön
He pakenivat Bakuun. He vuokrasivat "Bailovin niemimaalla alhaisen kattoisen tataritalon" kaupungin ulkopuolella aivan meren rannalla. Svanidze yritti etsiä työtä, mutta pienen lapsensa takia se oli mahdotonta.