Nascut a Atlanta, Geòrgia, Metcalfe va créixer a Chicago i es va graduar a l'escola secundària de Tilden Tech el 1930. Va acceptar una beca d'atletisme a la Universitat de Marquette a Milwaukee, Wisconsin, i va igualar el rècord de 10,3 segons en els 100 m en diverses ocasions, així com igualar el rècord de 200 m de 20,6 segons. Es va convertir en el primer home en guanyar el títol de 200 m de la NCAA tres vegades consecutives. En els Jocs Olímpics d'estiu de 1932 a Los Angeles, va competir pràcticament amb el seu rival Eddie Tolan, amb la medalla d'or concedida a Tolan només després d'un estudi prolongat de la fotografia; ambdós van registrar un temps de 10,38 segons en els 100 metres. Metcalfe també va guanyar una medalla de bronze en aquests jocs, en els 200 metres. Va competir de nou en els Jocs Olímpics d'estiu de 1936 a Berlín, i de nou va prendre la plata en els 100 metres, aquesta vegada darrere del quatre vegades medallista d'or Owens. Van guanyar l'or en el releu de 4x100 metres.
amb Foy Draper i Frank Wykoff; els EUA van guanyar per 1.1 segons sobre la segona posició, Itàlia, i Alemanya va guanyar el bronze. Fier rivals a la pista, Metcalfe i Owens (1913-1980) es van convertir en amics de per vida.