Nei primi anni della Guerra Civile, le caserme a nord furono usate per tenere gli ufficiali confederati presi come prigionieri di guerra in attesa di trasferimento in altre prigioni dell'Unione come Camp Johnson in Ohio, Fort Delaware o Fort Warren a Boston Harbor. Fort Columbus e Castle Williams servirono anche come campo di prigionia temporaneo e ospedale di confinamento per i prigionieri confederati durante la guerra. Il maggiore generale William H. C. Whiting (CSA) morì di dissenteria nel febbraio 1865 nell'ospedale del posto poco dopo la sua resa nella battaglia di Fort Fisher
In North Carolina. Era il più alto ufficiale confederato a morire come prigioniero di guerra.