Ferguson pegou o Manchester com vários problemas. Jogadores abusavam das saídas noturnas e das bebedeiras, não havia harmonia, padrão de jogo, identidade, nada. O time era uma verdadeira bagunça. Para piorar, poucas semanas depois de sua chegada, sua mãe morreu vítima de câncer no pulmão. O treinador demorou para se recompor, mas logo arregaçou as mangas e começou seu trabalho. Ferguson tratou de impor seu lado disciplinador no clube, bem como o foco na concentração e na comparação do futebol como um jogo de xadrez. Um lapso de desconcentração, segundo ele, era fatal e culminaria na derrota. Além disso, Ferguson passou a ter autonomia nas contratações e a sugerir nomes para a diretoria, além de investir nas categorias de base que renderiam inúmeros craques no futuro como Giggs e Beckham, por exemplo.
Depois de uma modesta 11ª colocação no campeonato de 1986-1987, na temporada 1986-1987 Ferguson reforçou o elenco e trouxe nomes como Steve Bruce, Viv Anderson, Brian McClair e Jim Leighton, seu fiel goleiro dos tempos de Aberdeen. Os jogadores deram resultado e a equipe ficou na segunda colocação do campeonato, mas ainda sim longe de bater o campeão Liverpool com nove pontos de diferença. Mas Ferguson continuou a procurar novas peças de reforço e trouxe Mark Hughes ao United naquele fim de temporada.
A vinda do galês deu retorno já na temporada seguinte e ele ajudou o United com 16 gols marcados, mesmo número de McClair. Mas o 11º lugar no Campeonato Inglês de 1988-1989 e um 13º lugar em 1989-1990, com direito a 11 jogos seguidos sem vitória e uma goleada de 5 a 1 sofrida para o rival Manchester City, deixaram a torcida louca da vida, que protestou com uma faixa em Old Trafford: “três anos de desculpas e ainda essa porcaria de time!?”. O cargo de Ferguson ficava enfraquecido e muitos pediam a saída do treinador, que não conseguia montar um time forte para aguentar tantos jogos. Mas seria naquela temporada de 1989-1990 que ele daria a volta por cima.
A pífia campanha no campeonato nacional não se repetiu na Copa da Inglaterra de 1989-1990. O Manchester eliminou Nottingham Forest, Hereford United, Newcastle United, Sheffield United e Oldham Athletic até chegar a decisão contra o Crystal Palace em Wembley. A partida final terminou 3 a 3 e um novo jogo teve de ser marcado. No replay, Lee Martin fez no segundo tempo o único gol do jogo e que deu o improvável título ao Manchester United. A taça serviu para acalmar os ânimos da torcida e dar uma sobrevida à Ferguson no comando da equipe. Ainda em 1990, Ferguson venceu a Supercopa da Inglaterra em conjunto com o Liverpool após empate em 1 a 1. Aquelas taças seriam um começo de novos tempos em Old Trafford, pois Ferguson tinha encontrado o caminho para começar sua dinastia.
Já com grandes nomes no elenco como Paul Ince, Denis Irwin, Gary Pallister e o sempre artilheiro Mark Hughes, o Manchester United tentou conquistar o Campeonato Inglês na temporada 1990-1991, mas não conseguiu e ficou na sexta posição. Em 1991, um garoto leve, rápido e criativo começaria a trilhar seu caminho de sucesso sob a batuta de Ferguson: Ryan Giggs. Junto com a revelação de um futuro craque, a torcida pôde comemorar mais uma taça: a Recopa da UEFA. Os ingleses eliminaram Pécsi Mecsek-HUN, Wrexham-WAL, Montpellier-FRA e Legia Warsaw-POL até chegarem à final, invictos, contra o Barcelona-ESP de Johan Cruyff. No embalo de Hughes, o United venceu os catalães por 2 a 1, com dois gols do galês, e ficou com a taça. Era a segunda Recopa da carreira de Ferguson e a primeira do United, além de ser o primeiro troféu continental do clube desde a histórica Liga dos Campeões da UEFA de 1968. Os jornais espanhóis do dia seguinte fizeram uma analogia ao uniforme branco do United naquele jogo, dizendo que “os Diabos Vermelhos vieram vestidos de branco, como anjos”. Mas os vermelhos mostraram naquele jogo, disputado em Roterdã, todo o lado diabólico em campo com uma grande vitória. Ferguson comentou na época que os instantes finais daquela final, com inúmeras chances do Barça e muita pressão, foram os “dez minutos mais torturantes” da vida dele. Mal sabia o treinador que ainda tinha muita coisa pela frente…
Nem a conquista da Recopa ajudou a acalmar os torcedores do United, que queriam a taça do Campeonato Inglês de qualquer jeito. Na temporada 1991-1992, o técnico bem que tentou dar o tão sonhado título aos torcedores, ainda mais com a contratação do goleiro Peter Schmeichel, mas o time ficou com o vice-campeonato. Naquele temporada, o United conquistou a Supercopa da UEFA diante do Estrela Vermelha e faturou a Copa da Liga Inglesa vencendo o Nottingham Forest. O título perdido para o Leeds United em 1992 motivou Ferguson a buscar exatamente a estrela que havia tido participação fundamental na conquista do rival: o atacante francês Eric Cantona. Muitos duvidaram que Cantona pudesse dar alguma retribuição ao Manchester, que vivia o tortuoso jejum de 26 anos sem títulos no Campeonato Inglês. Mas o francês provou em campo que todos estavam enganados.