Пичай е роден в Мадурай, Тамил Наду, Индия, в тамилско семейство. Майка му Лакшми е стенограф, а баща му Регуната Пичай е електроинженер в GEC, британски конгломерат. Баща му също има производствен завод, който произвежда електрически компоненти. Пичай е израснал в двустаен апартамент в Ашок Нагар, Ченай. Пичай завършва училище в Джавахар Видялая, централно училище за средно образование в Ашок Нагар, Ченай и завършва XII клас от училището Ван Вани в Индийския технологичен институт в Мадрас.
металургическо инженерство