Fabi si trasferì in Formula Uno nel 1982, guidando la Candy Toleman TG181C-Hart 415T n. 36. La squadra si era qualificata solo due volte l'anno precedente, e la stagione ha avuto un inizio difficile quando il Gran Premio del Sud Africa di apertura della stagione è stato interrotto da uno sciopero dei piloti. Sotto la pressione del manager di Toleman Alex Hawkinge, Fabi è stato l'unico pilota a rompere lo sciopero (Jochen Mass non ha preso parte fin dall'inizio). Il suo posto fu messo a repentaglio quando Candy cambiò il supporto a Tyrrell, ma riuscì a finire la stagione. La TG181C non era competitiva e il team si concentrò in gran parte sul pilota Derek Warwick. Questo ha portato Fabi a qualificarsi solo per sei gare su 14 possibili. Si è qualificato per il Gran Premio di San Marino, a causa della guerra FISA<unk>FOCA che ha fatto sì che solo 14 vetture tentassero di qualificarsi per la gara. Nella gara Fabi finì settimo, con otto giri di ritardo. Fabi si qualificò per il Gran Premio del Belgio, partendo e finendo ventunesimo. Poi non riuscì a qualificarsi al Gran Premio di Monaco
prima di saltare sia il Gran Premio di Detroit che il Gran Premio del Canada. Non si è qualificato al Gran Premio di Germania e al Gran Premio di Caesars Palace. Il suo miglior risultato nelle gare rimanenti fu il ventesimo posto al Gran Premio d'Austria, e lasciò la Formula 1 alla fine della stagione.