Scrivi una continuazione per questo paragrafo - Con i Phillies, ha continuato il suo ruolo di lanciatore di soccorso affidabile, guadagnando il suo secondo All-Star nella sua prima stagione a Philadelphia, anche se non è apparso nella partita. Dopo essere finiti secondi ai Pirates nel 1975, i Phillies di McGraw vinsero la loro corona di divisione nelle tre stagioni successive. Tuttavia, non riuscirono a raggiungere le World Series, venendo spazzati via dalla "Big Red Machine" di Cincinnati nel 1976 NLCS.
, e cadde ai Los Angeles Dodgers nelle due stagioni successive.