Questo successo fu presto seguito da un periodo oscuro nella storia del club, quando il Milan fu relegato in Serie B due volte nei primi anni '80. Il Milan è stato retrocesso nel 1980.
per essere stato coinvolto nello scandalo delle partite truccate del 1980, e ancora una volta dopo aver terminato terzo ultimo nella stagione 1981/82, dopo essere appena tornato in Serie A la stagione precedente, dopo aver vinto il titolo di Serie B 1980/81. Nonostante fosse un membro della squadra italiana dell'Euro 1980 che aveva finito quarto e della squadra vincitrice della Coppa del Mondo del 1982, Baresi scelse di rimanere con il Milan, vincendo il titolo di Serie B per la seconda volta durante la stagione 1982-1983 e riportando il Milan in Serie A. Dopo che Aldo Maldera e Fulvio Collovati lasciarono il club nel 1982, Baresi fu nominato capitano del Milan, all'età di 22 anni, e avrebbe ricoperto questa posizione per gran parte del suo tempo al club, diventando un simbolo e un leader per la squadra. Durante questo periodo cupo per il Milan, Baresi riuscì a vincere una Coppa Mitropa nel 1982 e raggiunse la finale della Coppa Italia durante la stagione 1984-85, anche se la squadra non riuscì a dominare in Serie A.