Với McLaren của Prost và Niki Lauda thống trị, Arnoux đã có một mùa giải thứ hai ít thành công hơn tại Ferrari, chỉ kết thúc ở vị trí thứ 6 với 27 điểm, với đồng đội mới của mình Michele Alboreto dần dần lấy chủ động và lãnh đạo đội từ anh ta. Sau ba chiến thắng và bốn vị trí pole vào năm 1983, Arnoux đã thất bại trong việc giành chiến thắng hoặc giành vị trí pole vào năm 1984 (Alboreto đã giành được giải Grand Prix Bỉ từ pole với Arnoux bắt đầu thứ hai và kết thúc thứ ba), mặc dù anh đã kết thúc thứ hai ở San Marino và Dallas, nơi anh buộc phải bắt đầu từ các pit do lỗi điện trên vòng đạp ấm và quản lý để giữ cho chiếc xe của mình khỏi rắc rối trên đường đua đổ nát. Giải Grand Prix duy nhất từng được tổ chức tại Dallas cũng là lần cuối cùng Arnoux đạt được một vị trí đứng đầu bảng xếp hạng F1. Khi mùa giải tiến triển, Arnoux dường như thiếu động lực, và sau khi kết thúc ở vị trí thứ 4 trong cuộc đua khai mạc của giải vô địch ở Brazil, anh rời Ferrari theo thỏa thuận chung. Vị trí của anh trong đội đã được thay thế bởi tay đua người Thụy Điển Stefan Johansson. Anh ta đã được nhìn thấy trong hố Brabham ở Imola.
trong vòng 3, gây ra tin đồn rằng anh ta sẽ gia nhập đội bóng lúc đó thuộc sở hữu của Bernie Ecclestone, nhưng không có gì xảy ra và anh ta hiếm khi được nhìn thấy tại các cuộc đua cho phần còn lại của mùa giải.