Swanton, hänen vaimonsa ja tyttärensä pakenivat Mainiin sisällissodan aikana jättäen talon lesken rouva Johnsonin huostaan. 19. heinäkuuta 1864 talosta tuli Tennesseen armeijan päämaja.
Atlantan taistelu. Kenraali Thomas W. Sweenyn läsnäolo Swanton Housessa on kirjattu siihen aikaan. Myöhemmin, kun kenraali Sherman määräsi Atlantan miehitykseen syyskuussa 1864, Ohion armeija käytti Swanton Housea päämajakseen. Talo säästyi siten sodan tuhoilta.