Completate la seguente frase: Nelson fu scelto dai Baltimore Colts nell'undicesimo round del Draft NFL del 1957. Dopo aver giocato sia come quarterback che come difensore al college, i Colts lo hanno fatto giocatore difensivo. Nelson ha iniziato 12 partite nella sua stagione da rookie, con 5 intercetti per 29 yard. La stagione successiva, Nelson registrò 8 intercettazioni per 199 yard e 1 touchdown. I Colts vinsero il campionato della NFL in quella che fu la prima partita di straordinario della NFL e da allora è diventata ampiamente conosciuta come "La partita più grande mai giocata". I Colts avrebbero ripetuto
Nel 1959 e durante la sua carriera di sette anni con i Colts, Nelson avrebbe accumulato 33 intercetti per 378 yard e 3 touchdown. I Colts scambiarono Nelson con i New York Giants per la stagione 1964, la sua ultima in NFL.