Viết một phần tiếp theo cho đoạn này - Với Phillies, anh tiếp tục vai trò của mình như là một người ném cứu trợ đáng tin cậy, kiếm được sự nghiệp thứ hai của mình All-Star gật đầu trong mùa giải đầu tiên của mình ở Philadelphia, mặc dù anh không xuất hiện trong trò chơi. Sau khi kết thúc thứ hai với Pirates vào năm 1975, Phillies của McGraw đã giành vương miện phân khu của họ trong ba mùa tiếp theo. Tuy nhiên, họ đã không thể đạt được World Series khi họ bị "Big Red Machine" của Cincinnati quét sạch trong NLCS năm 1976.
, và rơi vào Los Angeles Dodgers hai mùa giải tiếp theo.