Prost eta Niki Laudaren McLarenak nagusi izanik, Arnouxek ez zuen hainbeste arrakasta izan Ferrariren bigarren denboraldian, 6. postuan amaitu zuen 27 punturekin, Michele Alboreto taldekide berriak ekimena eta taldeko lidergoa pixkanaka kendu ziolako. 1983an hiru garaipen eta lau pole position lortu ondoren, Arnouxek ezin izan zuen 1984an pole position bat irabazi edo eskuratu (Alboretok Belgikako Grand Prix irabazi zuen poletik Arnoux bigarren hasi eta hirugarren bukatuz), nahiz eta bigarren sailkatu zen San Marinen eta Dallasen, non zuloetatik abiatzea behartu zuen berokuntza-bira batean akats elektriko bat izan zela eta bere autoa arazoetatik urrun mantentzea lortu zuen. Dallasen inoiz egin den Grand Prix bakarra izan zen Arnouxek Formula 1eko podium bat lortu zuen azken aldia ere. Denboraldia aurrera joan ahala, Arnoux-ek motibazio falta zuen, eta Brasilgo txapelketako hasierako lasterketan 4. postuan amaitu ondoren, Ferraritik joan zen elkarren artean adostasunez. Bere lekua Stefan Johansson suediarrak hartu zuen taldean. Brabhamen lubakietan ikusi zuten, Imola-n.
3. roundean. Zurrumurruek zioten Bernie Ecclestone-ren taldearekin bat egingo zuela. Baina ez zen ezer gertatu.