Pichai is gebore in Madurai, Tamil Nadu, Indië in 'n Tamil-familie. Sy ma, Lakshmi, was 'n stenograaf en sy pa, Regunatha Pichai, was 'n elektriese ingenieur by GEC, die Britse konglomeraat. Sy pa het ook 'n vervaardigingsfabriek gehad wat elektriese komponente vervaardig het. Pichai het grootgeword in 'n twee-kamer woonstel in Ashok Nagar, Chennai. Pi het sy skoolopleiding in Jawahar Vidya Vidyalaya, 'n Sentrale Raad van Sekondêre Onderwysskool in Ashok Nagar, Chennai, voltooi en die Klas XII van Vana Vani-skool in die Indiese Tegnologiese Instituut van Madras voltooi. Hy het sy graad in metallurgiese ingenieurswese aan die Indiese Tegnologiese Instituut van Kharagpur behaal. Hy is tans 'n vooraanstaande alumnus. Hy het 'n MS in materiaalwetenskappe en ingenieurswese van Stanford en 'n MBA van die Wharton School van die Universiteit van Pennsylvania, waar hy onder
metallurgiese ingenieurswese