Montauban syntyi Pariisissa. Ratsuväen upseerina hän näki paljon palvelusta Algeriassa, mutta hän oli vielä vain eversti, kun hän vuonna 1847 otti kiinni Abdel Kadirin. Tammikuun 1855 ja marraskuun 1857 välisenä aikana Montauban komensi Oranin diviisiota Algerian länsiosassa. Vuonna 1855 hänet lähetettiin taistelemaan Krimiin. Hänet nimitettiin vuonna 1858 komentajaksi kotona, ja vuoden 1859 lopussa hänet valittiin johtamaan ranskalaisia joukkoja englantilais-ranskalaisessa tutkimusretkessä Kiinaan.
- Mitä? Hänen johtamisensa operaatioissa ei välttänyt kritiikkiä, mutta vuonna 1862 hän sai Napoleon III: ltä Graaf de Palikaon (Palikaon taistelusta) arvonimen; hänet oli jo tehty senaattoriksi. Väite, että hän oli hankkinut valtavan omaisuuden ryöstämällä Pekingin vanhan kesäpalatsin, näyttää olleen perusteeton.