Liedholm, então no Milan, conversa com Eriksson, na Roma: o Barone abriu as portas do futebol italiano para o compatriota (Aftonbladet)
O início, porém, foi difícil. Controlar o ânimo de time e torcida foi uma tarefa complicada. Eriksson demorou a conseguir fazer com que os jogadores entendessem o seu estilo e os resultados demoraram a aparecer (a primeira vitória veio apenas na 9ª rodada). O mau começo foi refletido ao final da competição, na qual a Loba terminou apenas na sétima colocação.
A temporada seguinte foi muito mais animadora para a Roma e para Eriksson. Falcão deixou a equipe e voltou ao Brasil para se aposentar e foi substituído por Zbigniew Boniek. Os romanos terminaram o primeiro turno 6 pontos atrás da Juventus – em uma época em que as vitórias valiam 2 pontos –, mas conseguiram grande arrancada graças a Zibi e aos gols de Pruzzo, artilheiro do campeonato com 19 gols. Faltando duas rodadas para o fim, os giallorossi empataram em pontos com os bianconeri, mas perderam os dois compromissos restantes, não concretizaram a virada e ficaram com o vice. A decepção foi minimizada no mês seguinte, quando a Roma arrancou, superou Inter, Fiorentina e Sampdoria para ficar com a Coppa Italia.
O ano seguinte não foi bom, e a Roma decepcionou em todas as competições que disputou – Serie A, Coppa Italia e Recopa Europeia. Com isso, o sueco se demitiu ao fim da temporada. Logo arranjou emprego, pois seguiu prestigiado na Velha Bota: prontamente foi o escolhido para comandar a Fiorentina. A Viola vinha alternando boas e medianas campanhas na Serie A, e escolheu um nome de tarimba internacional para comandar uma renovação no time, que via a despedida do mito Giancarlo Antognoni.
Apesar de contar com Dunga, Ramón Diaz, Roberto Baggio e o compatriota Glenn Hysén, o treinador teve o que, para muitos, foi o seu grande fracasso na carreira. Campanhas medianas no Campeonato Italiano e na Coppa Italia fizeram com que a Fiorentina fosse a única equipe pela qual Eriksson não conquistasse um título. Foi também o time pelo qual o comandante tivesse seu pior desempenho na carreira, com apenas 32,8% de aproveitamento.