Amb l'arribada d'Antonio Conte com a nou entrenador de la Juventus, Barzagli es va convertir en una part integral de la línia de darrere de la Juventus, i va ser un dels jugadors més consistents del club, que va culminar en un record a l'equip nacional. La Juventus va acabar la temporada 2011-12
amb la millor defensa d'Itàlia i d'Europa, només va concedir 20 gols en 38 aparicions. Barzagli va marcar el seu primer gol per a la Juventus el 13 de maig de 2012, anotant un penal contra l'Atalanta en l'últim partit de lliga de la temporada, en una victòria a domicili de 3 a 1. Va ajudar a la Juventus a guanyar l'escudetto 2011-12 sense derrotar, i la Supercoppa Italiana 2012; la Juventus també va arribar a la final de la Coppa Italia aquella temporada. La seva temporada estel·lar li va guanyar un lloc a l'equip de la Serie A de l'any. Al final de la temporada, va renovar el seu contracte amb la Juventus fins al 2015.