Osatu esaldi hau: Grant New York-en jaio zen, Gabriel Grant-en semea, medikua eta Amerikako Gerra Zibileko zirujaua, eta Caroline Manice-ena. Madison Granten ama Jessé de Forest-en ondorengoa zen, 1623an Kolonizatzaileen lehen taldea errekrutatu zuen New Netherland-en, Herbehereetako Errepublikaren lurraldean, Amerikako Ekialdeko kostaldean. Aitaren aldetik, Madison Granten lehen arbaso amerikarra Richard Treat izan zen, Ingalaterrako Pitminster elizako dekanoa, 1630ean Ingalaterra Berriko lehen kolono puritanoetako bat izan zena. Grant-en arbasoak Treat-en lerroaren bidez Robert Treat (New Jerseyko koloniako gobernadorea), Robert Treat Paine (Independentzia Adierazpenaren sinatzailea), Charles Grant (Madison Grant-en aitona, 1812ko Gerran ofizial gisa aritu zena) eta Gabriel Grant (Madison-en aita), mediku ospetsua eta Newark-eko osasun komisarioa, New Jersey. Gabriel Grant doktoreak Ohorezko domina jaso zuen... New Jerseyko 2. boluntarioen gerran kirurgialari gisa zerbitzatu zuenean. Bitartean
Fair Oaks-eko guduan zaurituak babestu zituen, erasoaren ondorioz. Grant New Yorkeko bizilaguna izan zen.