Täytä lause: Kun McLarenit Prost ja Niki Lauda hallitsevat, Arnoux oli vähemmän onnistunut toisella kaudella Ferrarissa, vain päättynyt kuudenneksi 27 pisteellä, kun hänen uusi tiimikaverinsa Michele Alboreto otti asteittain aloitteen ja joukkueen johdon häneltä. Kolmen voiton ja neljän pole-aseman jälkeen vuonna 1983 Arnoux ei onnistunut voittamaan tai saamaan pole-asemaa vuonna 1984 (Alboreto voitti Belgian Grand Prix -kilpailun pole-asemalta, kun Arnoux aloitti toisena ja pääsi kolmanneksi), vaikka hän pääsi toiseksi
San Marinossa ja Dallasissa hän joutui lähtemään pitsistä - sähkövirheestä lämmityskierrossa - ja onnistui pitämään autonsa poissa vaikeuksista. Dallasissa järjestetty Grand Prix oli myös viimeinen kerta, kun Arnoux saavutti Formuulin 1-podiumin. Kauden edetessä Arnoux näytti puuttuvan motivaatiosta, ja kun hän oli viimeistellyt neljänneksi Brasilian mestaruuden avajaiskilpailussa, hän jätti Ferrarin molemminpuolisen suostumuksen perusteella. Hänen paikkansa joukkueessa otti ruotsalainen kuljettaja Stefan Johansson. Hänet nähtiin Brabhamin pitsissä Imolassa kolmannella kierroksella, mikä herätti huhuja siitä, että hän liittyisi siihen aikaan Bernie Ecclestonen omistamaan joukkueeseen, mutta siitä ei tullut mitään, ja häntä nähtiin harvoin kilpailuissa loppu kauden ajan.