Hargestin jälkeen jäi vaimo ja kolme lasta. Neljäs lapsi, Geoffrey Hargest, oli kuollut 30. maaliskuuta 1944, 22-vuotiaana Monte Cassinon taistelussa, kun hän palveli 23. pataljoonassa. Hänet haudattiin Cassinon sotahautausmaalle. Toinen poika kuoli aktiivisessa palveluksessa Malaian hätätilanteessa.
- Mitä? James Hargestin lukion, Invercargillin koulutuslaitoksen, nimi on hänen mukaansa.