Alexander frequentò la Central High School e si laureò nel 1917, pronunciando un discorso "Il futuro del negro americano", alla cerimonia di apertura. Si iscrisse all'Università della Pennsylvania con una borsa di studio di merito e divenne il primo negro laureato alla Wharton School of Business nel 1920. Poi si iscrisse alla Harvard Law School. Mentre era lì, Alexander si guadagnava da vivere lavorando come assistente insegnante durante l'anno scolastico. Durante le estati, frequentò corsi per un master in scienze politiche alla Columbia University, anche se non terminò la laurea. A Columbia, Alexander si sostenne lavorando come facchino per la Delaware, Lackawanna and Western Railroad. Mentre era ancora alla facoltà di legge, Alexander intentò la sua prima causa per discriminazione, denunciando il Madison Square Garden
per avergli negato l'ingresso a causa della sua razza, una violazione della legge sulla parità di diritti di New York. Poiché non era ancora stato ammesso all'ufficio dell'avvocato, Alexander assunse un avvocato per rappresentarlo.