Scrivi una continuazione per questo paragrafo - Grant informò Butler del suo richiamo l'8 gennaio 1865 e nominò il maggiore generale Edward O. C. Ord per sostituirlo come comandante dell'esercito del James. Invece di riferirsi a Lowell, Butler andò a Washington, dove usò i suoi considerevoli contatti politici per ottenere un'audizione davanti alla Commissione congiunta del Congresso sulla condotta della guerra a metà gennaio. All'udienza Butler ha concentrato la sua difesa sulle sue azioni a Fort Fisher. Ha prodotto grafici e duplicati di rapporti dei subordinati per dimostrare di aver avuto ragione a ritirare l'attacco a Fort Fisher, nonostante gli ordini del generale Grant al contrario. Butler sosteneva che il forte fosse inespugnabile. Con suo imbarazzo, una spedizione guidata dal maggiore generale Alfred H. Terry e dal generale di brigata Adelbert Ames (futuro genero di Butler) catturò il forte
il 15 gennaio, e la notizia di questa vittoria arrivò durante l'udienza del comitato; la carriera militare di Butler era finita. Fu formalmente assunto fino al novembre del 1865 con l'idea che potesse agire come procuratore militare del presidente confederato Jefferson Davis.