La partie ouest de Harlem est désormais grossièrement divisée entre Manhattanville, une zone développée pour accueillir le nouveau campus, de Columbia University ; Hamilton Heights, au nord aux environs de la 133ème Rue et au sud de la 155ème Rue qui abrite City College, le lieu de formation de nombreux lauréats du prix Nobel, et Sugar Hill, à l’est d’Amsterdam Avenue et au nord de la 145ème Rue, un secteur fortement assimilé à la culture afro-américaine et célébré par Ella Fitzgerald dans son interprétation de "Take the "A" Train". Toute la partie ouest de Harlem est un mélange étonnant de rues délabrées où l’on trouve de peu engageants ateliers mécaniques, de belles maisons et de bâtiments condamnés. Encore plus à l'ouest, tout au long de Riverside Drive jusqu’à la 165ème Rue, se trouvent de beaux immeubles du début du XXème siècle.