Pichai liittyi Googleen vuonna 2004, jossa hän johti Googlen asiakasohjelmistotuotteiden, kuten Google Chrome ja Chrome OS, tuotehallinta- ja innovaatiotoimintaa sekä oli suurelta osin vastuussa Google Drivesta. Hän seurasi edelleen erilaisten sovellusten, kuten Gmailin ja Google Mapsin, kehitystä. 19. marraskuuta 2009 Pichai esitteli Chrome OS: n; Chromebook julkaistiin kokeeksi ja testaukseen vuonna 2011, ja julkaistiin yleisölle vuonna 2012. 20. toukokuuta 2010 hän ilmoitti Googlen uuden videokoodin VP8 avoimeksi ja esitteli uuden videomuodon, WebM. 13. maaliskuuta 2013 Pichai lisäsi Googlen tuotteiden luettelon, jota hän ohjaa.
Vuonna 2004 hän johti Googlen asiakasohjelmistotuotteiden tuotejohtamista ja innovointia.