Si Rathbone an aking babayi kan  social reformer na si William Rathbone VI asin saiyang ikaduwang agom na si , Emily  Acheson  Lyle. An saiyang pamilya tighikayat siya na magtutok sa mga sosyal na isyu. Siya nagklase sa Kensington High School (sa ngunyan iyo an Kensington Prep School), London; dangan sa Somerville College, Oxford, sa protesta kan saiyang ina, asin sinuportahan kan Classics coaching ni Lucy Mary Silcox .