En 1978, Fairbanks foi despidíu como entrenador en xefe cuando se reveló que fuera secretamente contratáu como entrenador en xefe de la Universidá de Colorado. Foi remplazado por Ron Erhardt, al que de la mesma asocedió Ron Meyer en 1981. De 1977 a 1984, los Patriots solo algamaron los playoffs les temporaes de 1978 y 1982 y fueron ganaos na primer ronda. En busca d'ameyorar el lideralgu, los Sullivans remplazaron al entrenador Ron Meyer por Raymond Berry en 1984.