Walker ja Potomacin armeija taistelivat talven aikana toukokuun ja kesäkuun 1864 välisenä aikana. Cold Harborin taistelu kesäkuun alussa aiheutti huomattavan tappion II armeijan riveissä ja Walker loukkaantui polveensa taistelussa. Seuraavassa Richmond-Petersburgin taistelussa Walker nimitettiin brevetti-everstikseksi. Kuitenkin 25. elokuuta 1864, kun hän ratsasti etsimään kenraalimajuri John Gibbonia rintamalla toisen Ream's Stationin taistelun aikana
Walker piiritettiin ja vangittiin Georgiain jalkaväen 11. 27. elokuuta Walker pakeni marssimassa olevasta vankijoukosta toisen vankin kanssa, mutta hänet vangitsi 51. Pohjois-Carolinan jalkaväki, kun hän yritti uida Appomattox-joen yli ja melkein hukkui. Hänet pidettiin vankina Pietarissa, minkä jälkeen hänet siirrettiin pahamaineiseen Richmondin Libbyn vankilaan, jossa myös hänen vanhempi veljensä oli. Lokakuussa 1864 Walker vapautettiin kolmenkymmenen muun vangin kanssa osana vaihtoa.