Pettitte va ser el primer jugador dels Quatre Cores a retirar-se, anunciant la seva decisió en una conferència de premsa al Yankee Stadium el 4 de febrer de 2011. Va dir a l'organització "que no comptés amb el seu retorn" després que els Yankees perdessin la sèrie de campionats de la Lliga Americana de 2010
als Rangers de Texas, citant el seu desig de passar més temps amb la seva família. Després de passar la temporada fora del beisbol, va servir com a instructor convidat dels Yankees durant l'entrenament de primavera de 2012 i va insistir que no estava considerant una reaparició. No obstant això, va revertir la seva decisió el seu últim dia com a instructor i es va reincorporar a l'organització el 16 de març, signant un contracte de lliga menor de 2,5 milions de dòlars. Va llançar en les dues temporades de 2012 i 2013 per als Yankees abans d'anunciar la seva segona jubilació el 20 de setembre de 2013. Tot i que inicialment no revelaria la seva decisió, va ser a la insistència de Rivera que finalment ho va fer. Els Yankees van celebrar una cerimònia per a Pettitte cinc dies després, el 25 de setembre, amb els membres del Core Four Jeter i Rivera presentant-li una base enmarcada de la seva última partida al Yankee Stadium, signada per tots els seus companys d'equip. Va fer la seva última aparició el 28 de setembre contra els Houston Astros, l'únic altre equip per al qual havia llançat en la seva carrera. Va llançar un partit complet, el primer des del 2006, i guanyant la seva última partida, va acabar la temporada amb un rècord de 11 victòries i 11 derrotes. Això va preservar el seu rècord de no haver tingut mai una temporada perdedora al llarg de la seva carrera de 18 anys i ser l'únic llançador en la història de les lligues majors que va tenir 15 temporades guanyadores (amb un mínim de tres començaments cadascuna) sense registrar una temporada perdedora.