Phipps estudeó en l'Eton College, chunto a lo futuro naturalista Joseph Banks, encara que albandonó os suyos estudios a escape ta embarcar-se con su tío A. J. Hervey en o suyo barco. Asinas, en 1766 partió de Terranova (Canadá) en o HMS Niger, y Banks l'acompanyaba como naturalista.