Gregg va comandar el Cos de Cavalleria de l'Exèrcit del Potomac a principis de 1864 fins a l'arribada del major general Philip Sheridan, que va comandar la cavalleria de les forces del tinent general Ulysses S. Grant en la campanya terrestre. L'ús més important de la cavalleria de Gregg durant aquesta campanya va ser per a la pantalla dels moviments de la Unió cap al sud, batalla a batalla, però es va organitzar una incursió significativa que va culminar en la Batalla de Yellow Tavern, on J.E.B. Stuart va ser mortalment ferit, donant a la Confederació un dur cop. La divisió de Gregg també va estar molt involucrada a la Batalla de Haw's Shop.
, on va lluitar contra les tropes de Wade Hampton a l'oest de Hanovertown, Virginia. Hampton tenia un nombre superior, però els soldats de Gregg tenien el rifle de repetició Spencer. Finalment, la brigada de Custer va atacar a través d'un terreny difícil, expulsant els homes de Hampton de la seva posició.