Hargestek emaztea eta hiru seme-alaba zituen. Laugarren semea, Geoffrey Hargest, 1944ko martxoaren 30ean hil zen, 22 urte zituela, Monte Cassinoko guduan, 23. batailoian zerbitzatzen ari zela. Cassinoko gerra hilerrian lurperatuta dago. Beste seme bat hil zen zerbitzuan zegoela Malaiako larrialdi garaian.
-Ez da izango. James Hargest High School, Invercargill-eko hezkuntza-instalazio bat, bere izena du.