Pettitte è stato il primo giocatore dei Core Four a ritirarsi, annunciando la sua decisione in una conferenza stampa allo Yankee Stadium il 4 febbraio 2011. Ha detto all'organizzazione di "non contare sul suo ritorno" dopo che gli Yankees hanno perso la serie di campionato della American League del 2010
ai Texas Rangers, citando il suo desiderio di passare piu' tempo con la sua famiglia. Dopo aver trascorso la stagione lontano dal baseball, ha servito come istruttore ospite per gli Yankees durante l'allenamento primaverile del 2012 e ha insistito sul fatto che non stava considerando un ritorno. Tuttavia, ha cambiato decisione il suo ultimo giorno come istruttore e si è riunito all'organizzazione il 16 marzo, firmando un contratto di minor league da 2,5 milioni di dollari. Ha lanciato in entrambe le stagioni per gli Yankees prima di annunciare il suo secondo ritiro il 20 settembre 2013. Sebbene inizialmente non avesse intenzione di rivelare la sua decisione, fu per insistenza di Rivera che alla fine lo fece. Gli Yankees hanno tenuto una cerimonia per Pettitte cinque giorni dopo, il 25 settembre, con gli altri membri del Core Four Jeter e Rivera che gli hanno presentato una base incorniciata dalla sua ultima partenza allo Yankee Stadium, firmata da tutti i suoi compagni di squadra. Fece la sua ultima apparizione il 28 settembre contro gli Houston Astros, l'unica altra squadra per cui aveva lanciato nella sua carriera. Ha lanciato una partita completa - la prima dal 2006 - e vincendo la sua ultima partenza, ha concluso la stagione con un record di 11 vittorie e 11 sconfitte. Questo ha preservato i suoi record di non aver mai avuto una stagione perdente in tutta la sua carriera di 18 anni ed essere l'unico lanciatore nella storia delle major league ad avere 15 stagioni vincenti (con un minimo di tre partite ciascuna) senza registrare una stagione perdente.