Le village de Harlem, ou plutôt "Nieuw Haarlem", a été fondé en 1658 par le gouverneur hollandais Peter Stuyvesant d’après la ville de Haarlem aux Pays-Bas. Tout au long des périodes hollandaise, anglaise, puis coloniale, le secteur s’est trouvé doté de riches fermes dans ses parties plates orientales, tandis que dans les hauteurs, à l’ouest, s’établissaient nombre des plus puissantes et illustres familles de la jeune New York. 