Vuonna 1843 Zeng nimitettiin Sichuanin maakunnan kirjallisuustarkastajaksi. Kuusi vuotta myöhemmin hänestä tuli rituaalilautakunnan varapääsihteeri. Kun hän toimi sotilastutkijan virassa (1851), hänen äitinsä kuolema pakotti hänet palaamaan Hunanin maakuntaan suorittamaan lapsellisen surun, jonka oletetaan kestävän kolme vuotta. Noin samaan aikaan Taipingin kapinalliset
Se oli valloittanut Hunanin ja valloittanut Yangtze-joen rannikon kaupungit ja linnoitukset. Erikoismääräyksellä Zengiä käskettiin avustamaan maakunnan kuvernööriä vapaaehtoisten joukkojen keräämisessä, ja omasta aloitteestaan hän rakensi sota-aluksen ja useita arsenaaleja, joilla hän hyökkäsi kapinallisten kimppuun. Tämä joukko tuli lopulta tunnetuksi nimellä Xiangin armeija (alias Xiang Army). Hunanin armeija tai Chu-armeija). Zeng painotti Xiangin armeijan valmennuksessa ja komennossa "perheiden välisiä siteitä, yksilöllistä vastuuta, joustavaa mutta vastuullista kurinalaisuutta, korkeampaa sotilaspalkkaa, arvoa armeijassa palvelevia älymystön edustajia kohtaan ja vahvaa sidettä upseerien ja sotilaiden välillä". Zengin ensimmäinen taistelu kapinallisten kanssa päättyi tappioon, mutta hänen luutnanttinsa onnistuivat paremmin. He valloittivat provinssin pääkaupungin Changsan ja tuhosivat kapinallisten laivaston. Tämän jälkeen Zeng valloitti Wuchangin ja Hanyangin lähellä Hankou'ta ja palkittiin menestyksestään nimittämällä hänet sotaneuvoston varapuheenjohtajaksi. Zengin johtama Xiangin armeija sisälsi joitakin integroituja Hangzhoun harjoitusryhmiä.