Grant nacque a New York, New York, figlio di Gabriel Grant, medico e chirurgo della Guerra Civile Americana, e Caroline Manice. La madre di Madison Grant era una discendente di Jessé de Forest, l'uguenota vallone che nel 1623 reclutò la prima banda di coloni per stabilirsi a New Netherland, il territorio della Repubblica olandese sulla costa orientale americana. Dal lato paterno, il primo antenato americano di Madison Grant fu Richard Treat, decano della Chiesa di Pitminster in Inghilterra, che nel 1630 fu uno dei primi coloni puritani del New England. Gli antenati di Grant attraverso la linea di Treat includono Robert Treat (un governatore coloniale del New Jersey), Robert Treat Paine (un firmatario della Dichiarazione di Indipendenza), Charles Grant (il nonno di Madison Grant, che ha servito come ufficiale nella guerra del 1812), e Gabriel Grant (padre di Madison), un eminente medico e il commissario della salute di Newark, New Jersey. Il dottor Gabriel Grant fu insignito della Medaglia d'Onore mentre serviva come chirurgo con il 2° New Jersey Volunteers nella Guerra Civile. Durante la battaglia di Fair Oaks
Ha spostato i feriti in salvo mentre era sotto forte fuoco. Grant era un residente permanente di New York City.