Nasce a Nouart nel dipartimento delle Ardenne, in Francia, figlio di un ufficiale di cavalleria, Chanzy viene istruito alla scuola navale di Brest, ma si arruola nell'artiglieria. Successivamente frequentò l'accademia militare Saint Cyr, e fu commissionato negli "Zouaves" nel 1843. Partecipò a molte battaglie in Algeria e fu promosso tenente nel 1848 e capitano nel 1851. Divenne "chef de bataillon" nel 1856, e prestò servizio nella seconda guerra d'indipendenza italiana, essendo presente alle battaglie di Magenta.
e Solferino. Partecipò alla campagna siriana del 1860-61 come tenente colonnello, e come colonnello comandò il 45° Reggimento a Roma nel 1864. Tornò in Algeria come generale di brigata, aiutò a reprimere l'insurrezione araba e comandò le suddivisioni di Bel Abbes e Tlemçen nel 1868.