Si Harrison namundag sa Nweba York sa mga magurang niyang sa Burton Harrison, sarong abogado asin nagin sekretaryo pribado kan si Presidente kan Confederado na si Jefferson Davis asin Constance Cary Harrison, sarong nobelista asin social arbiter. Sa bandang ina niya, si Harrison  makuapo sa tuhod ni Thomas Fairfax nin Cameron. Paagi ki Fairfax, sa dugo o huli sa pag-aragoman, si Harrison sadiring-tawo an saro sa kagtogdas kan Estados Unidos na si Gouverneur Morris, Thomas Jefferson, an mga Randolphs, an mga Isham, an mga Carter asin kadugo niya pa si Heneral Robert  E. Lee, kan Hokbong Confederado.