Philip Harper groeide op in Atlanta, Georgia. Hij besloot op zijn 10de jaar trompet te gaan spelen en 4 jaar later behoorde hij al tot de professionele musici. Zijn voornaamste muzikale opvoeding kreeg hij van zijn broers. Hij bezocht de Northside School of Performing Arts in Atlanta en studeerde bij Jackie McLean aan de Hart School of Music.
Op zijn 18de vertrok hij naar New York en werkte hij in sneltreinvaart met alle groten uit het vak: Little Jimmy Scott, Betty Carter en Bill Cosby. Kort daarop werd hij gevraagd in de Jazz Messengers van Art Blakey en The Mingus Dynasty. Daarna had hij jarenlang een veelgeprezen hardbop groep met zijn broer Winard (drummer); The Harper Brothers.