Completa la frase següent: Amb els McLaren de Prost i Niki Lauda dominant, Arnoux va tenir una segona temporada menys reeixida a Ferrari, només acabant sisè amb 27 punts, amb el seu nou company d'equip Michele Alboreto prenent progressivament la iniciativa i el lideratge de l'equip d'ell. Després de tres victòries i quatre pole positions el 1983, Arnoux no va aconseguir guanyar o reclamar una pole position el 1984 (Alboreto va guanyar el Gran Premi de Bèlgica des de la pole amb Arnoux començant segon i acabant tercer), tot i que va acabar segon en
San Marino i Dallas on es va veure obligat a començar des dels boxes a causa d'una falla elèctrica en la volta d'escalfament i va aconseguir mantenir el seu cotxe fora de problemes en la pista en desintegració. L'únic Gran Premi que s'ha celebrat a Dallas va ser també l'última vegada que Arnoux va aconseguir un podi de Fórmula 1. A mesura que avançava la temporada, Arnoux semblava que li mancava la motivació, i després de acabar 4è en la cursa d'obertura del campionat al Brasil, va deixar Ferrari per consentiment mutu. El seu lloc en l'equip va ser ocupat pel pilot suec Stefan Johansson. Va ser vist als boxes de Brabham a Imola en la ronda 3, provocant rumors que s'uniria a l'equip llavors propietat de Bernie Ecclestone, però no va sortir res i rarament es va veure en carreres per a la resta de la temporada.