Prost eta Niki Laudaren McLarenak nagusi izanik, Arnouxek ez zuen hainbeste arrakasta izan Ferrariren bigarren denboraldian, 6. postuan amaitu zuen 27 punturekin, Michele Alboreto taldekide berriak ekimena eta taldeko lidergoa pixkanaka kendu ziolako. 1983an hiru garaipen eta lau pole position lortu ondoren, Arnouxek ez zuen lortu 1984an pole position bat irabaztea edo eskatzea (Alboretok Belgikako Grand Prix irabazi zuen poletik, Arnoux bigarren hasi eta hirugarren bukatuz).
eta Dallas, berriz, finantzariekin tropelaren okerrena hasi eta autoari arazoak eragin dizkio hasi baino lehen. Dallasen inoiz egin den Grand Prix bakarra izan zen Arnouxek Formula 1eko podium bat lortu zuen azken aldia ere. Denboraldia aurrera joan ahala, Arnoux-ek motibazio falta zuen, eta Brasilgo txapelketako hasierako lasterketan 4. postuan amaitu ondoren, Ferraritik joan zen elkarren artean adostasunez. Bere lekua Stefan Johansson suediarrak hartu zuen taldean. Brabham-en ikusi zuten Imola-n 3. jardunaldian, eta zurrumurruak piztu ziren Bernie Ecclestone-ren taldean sartuko zela, baina ez zen ezer atera eta gutxitan ikusi zuten lasterketetan denboraldiaren gainerakoan.