Creient que Pettitte era el pitcher superior, els Yankees van canviar a Hitchcock abans de la temporada de 1996. Començant la temporada en la rotació, Pettitte va tenir un rècord de 13 a 4 al final de la primera meitat de la temporada, i va entrar a l'equip All-Star de la Lliga Americana. No va aparèixer en el MLB All-Star Game de 1996, a causa d'un braç dolor. Va liderar l'AL amb 21 victòries i va acabar tercer en percentatge de victòries (.724), i vuitena en ERA (3.87). Va acabar en segon lloc després de Pat Hentgen per al Premi Cy Young de la Lliga Americana, amb la diferència més petita de vots des de 1972. Hentgen va guanyar el premi en part perquè va llançar jocs més complets que Pettitte. Els Yankees van derrotar els Texas Rangers en el 1996 ALDS i els Baltimore Orioles en el 1996 American League Championship Series
(ALCS). Pettitte va guanyar dos partits contra els Orioles, i va tenir la seva oportunitat per a una tercera partida de la sèrie cancel·lada per la pluja. Pettitte va començar el primer partit de la World Series de 1996 contra els Atlanta Braves. Va permetre set carreres en la primera partida, però va superar a John Smoltz en el partit 5, que els Yankees van guanyar 1-0. Els Yankees van derrotar els Braves en el partit 6 per guanyar la sèrie, quatre partits a dos.