Conte è stato firmato dal manager della Juventus Giovanni Trapattoni nel 1991 (Conte si riferisce a Trapattoni come al suo "secondo padre"), debuttando il 17 novembre 1991 contro i rivali di Torino. Grazie alle sue prestazioni costanti, al suo ritmo di lavoro, alla sua leadership e al suo stile di gioco tenace, divenne una figura importante per i tifosi del club, e fu in seguito nominato capitano della squadra sotto Marcello Lippi nel 1996, dopo la partenza del precedente capitano del club Gianluca Vialli, e prima della promozione di Alessandro Del Piero al ruolo. Durante la stagione 1998/99, quando Del Piero subì un grave infortunio al ginocchio, Conte tornò come capitano, una posizione che mantenne fino alla stagione 2001/02. Durante la sua carriera da giocatore della Juventus, Conte ha vinto cinque titoli di Serie A, la Coppa Italia 1994-95, la Coppa UEFA 1992-93 e la UEFA Champions League 1995-96, oltre a quattro titoli di Supercoppa Italiana, la Supercoppa UEFA 1996, la Coppa Intercontinentale 1996
(che ha perso a causa di un infortunio) e la UEFA Intertoto Cup 1999, vincendo tutti i possibili titoli di club di primo livello, a parte la UEFA Cup Winners' Cup.