Fattori è nato a San Michele Extra, Verona. Dopo aver giocato per l'Audace San Michele, che in seguito ha dato vita a Mariolino Corso, Fattori si è trasferito a Vicenza, debuttando in Serie A come centrocampista difensivo del club. Nel 1946 andò alla Sampdoria, che lo acquisì (insieme a Bassetto) per un record di 10 milioni di lire dopo esaustivi contratti con l'Inter. Arrivò all'Inter nell'estate del 1947 dopo soli 12 mesi con la Sampdoria. Con l'Inter, Fattori sarebbe rimasto per sette stagioni vincendo due campionati nel 1953
e nel 1954.