Jim Bannon foil primer maríu de lactriz Bea Benaderet. Tuvieron dos fíos, y unu dellos, Jack Bannon, foi un actor que trabayó de manera regular na serie televisiva Lou Grant, interpretada por Edward Asner. El matrimoniu divorcióse en 1950. Darréu casóse con Barbara Cork, de la que se divorció en 1981.