Primeras anyadas Phipps estudeó en l'Eton College, chunto a lo futuro naturalista Joseph Banks, encara que albandonó os suyos estudeyos a escape ta embarcar-se con o suyo tío A. J. Hervey en o suyo barco.