All'inizio della Guerra Civile, Mansfield comandò il Dipartimento di Washington (27 aprile - 17 agosto 1861), e fu promosso brigadiere generale il 6 maggio 1861. Il generale in capo Winfield Scott raccomandò Mansfield per il comando dell'esercito di volontari allestito a Washington DC quella primavera, ma il comando andò invece a Irvin McDowell. Mansfield non fu considerato la scelta migliore a causa della sua età relativamente avanzata e dello scetticismo delle truppe volontarie e della spinta dell'amministrazione per un rapido attacco a Richmond che avrebbe concluso la guerra in pochi mesi, e non aveva anche uno sponsor politico a Washington. Dopo la sconfitta dell'Unione a Bull Run, George McClellan fu messo al comando dello sforzo bellico nel teatro orientale e le speranze di Mansfield di comandare l'esercito furono nuovamente infrante. McClellan non gli offrì un comando nel nuovo esercito del Potomac. Mansfield era di stanza a Hatteras Inlet, North Carolina.
, in ottobre, dopo la battaglia combattuta da Benjamin Butler in agosto. Fu comandante di brigata nel Dipartimento della Virginia da marzo a giugno 1862. La sua unica attività di combattimento durante questo periodo fu il fuoco delle batterie costiere da Hampton Roads contro la corazzata "CSS Virginia" nella sua battaglia navale contro la "USS Monitor" il 9 marzo 1862. Fino all'autunno del 1862, Mansfield comandò la Divisione Suffolk del VII Corpo del Dipartimento della Virginia nelle vicinanze di Suffolk.