Grant sinh ra ở thành phố New York, New York, con trai của Gabriel Grant, một bác sĩ và bác sĩ phẫu thuật trong Nội chiến Hoa Kỳ, và Caroline Manice. Mẹ của Madison Grant là hậu duệ của Jessé de Forest, người Walloon Huguenot, người vào năm 1623 đã tuyển dụng nhóm thực dân đầu tiên định cư ở New Netherland, lãnh thổ của Cộng hòa Hà Lan trên Bờ Đông Mỹ. Về phía cha, tổ tiên người Mỹ đầu tiên của Madison Grant là Richard Treat, giám mục của Giáo hội Pitminster ở Anh, người vào năm 1630 là một trong những người định cư Thanh giáo đầu tiên của New England. Tổ tiên của Grant thông qua dòng Treat bao gồm Robert Treat (một thống đốc thuộc địa của New Jersey), Robert Treat Paine (một người ký Tuyên ngôn Độc lập), Charles Grant (ông nội của Madison Grant, từng là một sĩ quan trong Chiến tranh năm 1812), và Gabriel Grant (cha của Madison), một bác sĩ nổi tiếng và ủy viên y tế của Newark, New Jersey. Tiến sĩ Gabriel Grant đã được trao Huân chương Danh dự trong khi phục vụ như một bác sĩ phẫu thuật với các tình nguyện viên New Jersey thứ 2 trong Nội chiến. Trong trận Fair Oaks
Ông ta đã đưa những người bị thương đến nơi an toàn trong khi đang bị bắn nặng. Grant là một cư dân suốt đời của thành phố New York.