Fabi siirtyi Formula 1:een vuonna 1982 ajamaan numero 36 Candy Toleman TG181C-Hart 415T:tä. Joukkue oli päässyt kilpailuun vain kahdesti edellisvuonna, ja kausi alkoi vaikeasti, kun kauden avaavaa Etelä-Afrikan Grand Prix -kilpailua keskeytti kuljettajien lakko. Tolemanin managerin Alex Hawkingen painostuksesta Fabi oli ainoa kuljettaja, joka rikkoi lakon (Jochen Mass ei osallistunut lähtöön). Hänen paikkansa oli vaarassa, kun Candy vaihtoi tukensa Tyrrellille, mutta hän näki kauden loppuun. TG181C ei ollut kilpailukykyinen, ja joukkue keskittyi pääasiassa johtavaan kuljettajaan Derek Warwickiin. Tämä johti siihen, että Fabi pääsi vain kuuteen kilpailuun mahdollisista 14:stä. Hän pääsi San Marinon Grand Prix -kilpailuun FISA<unk>FOCA-sodan vuoksi, mikä tarkoitti sitä, että vain 14 autoa yritti päästä kilpailuun. Fabi pääsi seitsemänneksi, kahdeksan kierrosta jälkeen. Fabi pääsi Belgian Grand Prix -kilpailuun lähtö- ja maalipaikalla 21. Hän epäonnistui Monaco Grand Prix -kilpailussa.
Ennen kuin hän jätti väliin sekä Detroitin että Kanadan Grand Prix'n. Hän epäonnistui pääsemään Saksan Grand Prix -kilpailuun ja Caesars Palace Grand Prix -kilpailuun. Hänen paras lopputuloksensa jäljellä olleissa kisoissa oli 20. Itävallan Grand Prix -kilpailussa, ja hän jätti Formula 1:n kauden lopussa.