Con le McLaren di Prost e Niki Lauda al comando, Arnoux ha avuto una seconda stagione meno riuscita alla Ferrari, terminando solo sesto con 27 punti, con il suo nuovo compagno di squadra Michele Alboreto che progressivamente gli ha tolto l'iniziativa e la leadership della squadra. Dopo tre vittorie e quattro pole position nel 1983, Arnoux non riuscì a vincere o a conquistare una pole position nel 1984 (Alboreto vinse il Gran Premio del Belgio dalla pole con Arnoux in seconda posizione e terzo posto), anche se finì secondo a San Marino
e Dallas dove è stato costretto a partire dai box a causa di un guasto elettrico nel giro di riscaldamento e è riuscito a tenere la sua auto fuori dai guai sulla pista che si sgretolava. L'unico Gran Premio mai tenuto a Dallas è stata anche l'ultima volta che Arnoux ha raggiunto un podio in Formula 1. Con il progredire della stagione, Arnoux sembrava mancare di motivazione, e dopo aver finito quarto nella gara di apertura del campionato in Brasile, ha lasciato la Ferrari di comune accordo. Il suo posto nella squadra è stato preso dal pilota svedese Stefan Johansson. È stato visto nei box Brabham a Imola nel terzo round, scatenando voci che si sarebbe unito alla squadra di proprietà di Bernie Ecclestone, ma non ne è venuto fuori nulla e è stato raramente visto alle gare per il resto della stagione.