Colbert lasciò Junot nel 1805 e seguì il maggiore generale Maréchal Berthier come suo aide de camp. Ha assistito ad Austerlitz.
, dove fu ferito e divenne chef d'escadron. Ha combattuto coraggiosamente a Iena e Pułtusk. Nel 1807 fu nominato colonnello e capo del suo vecchio reggimento, il 7° d'Ussari. Questa unità faceva ora parte della brigata di Lassalle, soprannominata brigata "infernale" a causa della sua passione. Napoleone lo nominò cavaliere della Legione d'onore nel 1808 e barone di Chabanais et de l'Empire nel 1809.