Nel 1861, all'inizio della Guerra Civile, fu nominato dal comandante della Guardia Nazionale di New York, il generale di brigata John F. Rathbone, per servire come ufficiale medico capo al deposito di Albany. Nel giugno 1862, dopo la battaglia di Savage's Station
Mentre l'esercito del Potomac, insieme ai suoi medici, si ritirava, Swinburne rimase a prendersi cura delle migliaia di prigionieri feriti, sia dell'Unione che della Confederazione. Rispettando la sua posizione di principio, il comandante confederato Stonewall Jackson gli diede un passaggio, con una nota personale che lo accompagnava, permettendogli di visitare i prigionieri dell'Unione. Nel 1864, il governatore Horatio Seymour lo nominò al posto di ufficiale sanitario del porto di New York e, nel 1867, fu rinominato dal governatore Reuben Fenton, servendo per un totale di sei anni, fino al 1870. Durante la sua amministrazione, nonostante la riluttanza della legislatura statale ad assegnare finanziamenti, ha supervisionato la costruzione di strutture di quarantena all'avanguardia sulle isole che sono state chiamate Swinburne e Hoffman.