Pogson nació en Oxford, Inglaterra. Foi la fía mayor de Norman Pogson nel so primer matrimoniu con Elizabeth Jane Ambrose (finada en 1869). Probablementel so nome provenga del Río Isis, parte del Río Támesis que flúi por Oxford.