Després de la temporada 1960/62, Gustavsson va tornar a Suècia i es va unir al club de segona divisió Åtvidabergs FF. El juny de 1963 va jugar el seu 57è i últim partit per a Suècia en un partit de qualificació per a la Copa d'Europa de Nacions de 1964
a Belgrad contra Iugoslàvia, que va acabar en un empate de 0-0. A nivell de club va ser jugador-manager des de 1964. Va acabar la seva carrera com a jugador el 1965, però va romandre al capdavant del club del sud de Suècia.