Metcalfe syntyi Atlantassa, Georgiassa. Hän varttui Chicagossa ja valmistui Tilden Techistä vuonna 1930. Hän hyväksyi urheilutahtorakennuksen Marquette-yliopistoon Milwaukeessa, Wisconsinissa, ja tasaisi ennätyksen 10,3 sekunnissa 100 metrissä useissa tilaisuuksissa, samoin kuin tasaisi 200 metrin ennätyksen 20,6 sekunnissa. Hänestä tuli ensimmäinen mies, joka voitti NCAA: n 200 metrin mestaruuden kolmesti peräkkäin. Vuonna 1932 Los Angelesissa pidetyssä kesäolympialaisissa hän käytännössä kuoli kilpailijansa Eddie Tolanin kanssa, ja Tolan sai kultamitalin vasta valokuvan laajennetun tutkimuksen jälkeen. Molemmat tallensivat 10,38 sekunnin ajan 100 metrissä. Metcalfe voitti myös pronssimitalin näissä peleissä 200 metrin juoksussa. Hän kilpaili jälleen vuoden 1936 kesäolympialaisissa Berliinissä, ja otti jälleen hopean 100 metrin juoksussa, tällä kertaa neljänkertaisen kultamitalittajan Owensin takana. He voittivat kultaa 4x100 metrin risteyksessä.
Foy Draperin ja Frank Wykoffin kanssa, USA voitti 1.1 sekunnin erolla toiseksi sijoituneen Italian, ja Saksa voitti pronssin. Metcalfista ja Owensista (1913-1980) tuli elinikäisiä ystäviä.