Viết tiếp cho đoạn này - Thành công này nhanh chóng được theo sau bởi một giai đoạn đen tối trong lịch sử của câu lạc bộ, khi Milan bị xuống hạng Serie B hai lần vào đầu những năm 1980. Milan đã xuống hạng năm 1980
vì đã tham gia vào vụ bê bối dàn xếp trận đấu năm 1980, và một lần nữa sau khi kết thúc thứ ba cuối cùng trong mùa giải 1981/82, sau khi vừa trở lại Serie A mùa trước, sau khi giành danh hiệu Serie B 1980/81. Mặc dù là một thành viên của đội tuyển Ý Euro 1980 đã kết thúc thứ tư, và đội chiến thắng World Cup 1982, Baresi đã chọn ở lại Milan, giành danh hiệu Serie B lần thứ hai trong mùa giải 1982-1983 và đưa Milan trở lại Serie A. Sau khi Aldo Maldera và Fulvio Collovati rời câu lạc bộ vào năm 1982, Baresi được bổ nhiệm làm đội trưởng của Milan, ở tuổi 22, và sẽ giữ vị trí này trong phần lớn thời gian của mình tại câu lạc bộ, trở thành một biểu tượng và một nhà lãnh đạo cho đội. Trong giai đoạn ảm đạm này cho Milan, Baresi đã giành được một Cúp Mitropa vào năm 1982 và lọt vào trận chung kết Coppa Italia trong mùa giải 1984-85, mặc dù đội không thể thống trị Serie A.