Colbert lähti Junotista vuonna 1805 ja seurasi kenraalimajuri Maréchal Berthieria hänen apulaisena. Hän auttoi Austerlitzin taistelussa.
Hänet haavoitettiin ja hänet korotettiin laivueen päälliköksi. Hän taisteli urheasti Ienassa ja Pułtuskissa. Vuonna 1807 hänestä tehtiin eversti ja hänen vanhan rykmentinsä, 7. hussarien, päällikkö. Tämä yksikkö oli nyt osa Lassallen prikaatia, jota kutsuttiin "helvetin" prikaatiksi sen intohimon vuoksi. Napoleon nimitti hänet Légion d'honneur -armeijan ritariksi vuonna 1808 ja paroni de Chabanais et de l'Empire vuonna 1809.