Nascut a Nouart al departament de les Ardenes, França, fill d'un oficial de cavalleria, Chanzy va ser educat a l'escola naval de Brest, però es va alistar a l'artilleria. Posteriorment va assistir a l'acadèmia militar de Saint Cyr, i va ser comissionat en el "Zouaves" durant 1843. Va participar en molts combats a Algèria, i va ser ascendit a tinent el 1848, i a capità el 1851. Va esdevenir "chef de bataillon" el 1856, i va servir en la Segona Guerra d'Independència italiana, estant present a les batalles de Magenta
i Solferino. Va participar en la campanya de Síria de 1860-61 com a tinent coronel, i com a coronel va comandar el 45è Regiment a Roma el 1864. Va tornar a Algèria com a general de brigada, va ajudar a reprimir la insurrecció àrab, i va comandar les subdivisions de Bel Abbes i Tlemçen el 1868.