Viết phần tiếp theo cho đoạn này - Nelson được tuyển chọn bởi Baltimore Colts ở vòng thứ mười một của NFL Draft năm 1957. Sau khi chơi cả tiền vệ và phòng ngự ở đại học, Colts đã biến anh ta thành một cầu thủ phòng ngự. Nelson đã bắt đầu 12 trận trong mùa giải mới của mình, với 5 lần đánh chặn cho 29 yard. Mùa giải tiếp theo, Nelson sẽ ghi nhận 8 lần chặn bóng cho 199 yard và 1 bàn touchdown. Colts sẽ tiếp tục giành chức vô địch NFL trong trận đấu kéo dài thời gian đầu tiên của NFL và kể từ đó đã trở nên nổi tiếng với cái tên "The Greatest Game Ever Played". The Colts sẽ lặp lại vào năm 1959
Và trong sự nghiệp 7 năm của mình với đội Colts, Nelson đã ghi được 33 cú đánh chặn cho 378 yard và 3 cú touchdown. Colts đã trao đổi Nelson cho New York Giants cho mùa giải 1964, mùa giải cuối cùng của anh ấy ở NFL.