Trong cuộc rút lui của Liên minh về Virginia, Brockenbrough đã cố gắng lấy lại một số danh tiếng bị hư hại của mình bằng cách tiến quân liều lĩnh chống lại quân đội Liên minh tại Falling Waters vào ngày 14 tháng 7, chịu nhiều thương vong. Năm ngày sau, cựu trung tá trung đoàn của Brockenbrough, Thiếu tướng Henry Harrison Walker, được giao quyền chỉ huy lữ đoàn, đưa Brockenbrough trở lại Virginia thứ 40, mà ông lãnh đạo tại Bristoe và Mine Run
. Vào ngày 21 tháng 1 năm 1864, Brockenbrough đã từ chức từ Quân đội Liên minh. Ông giữ chức đại tá trong lực lượng dự bị cho đến cuối năm 1864.