Durante la Guerra Civile Americana, Pleasure Island era il sito del campo confederato Wyatt. L'area ospita anche i resti di Fort Fisher, che aveva un valore strategico significativo per la catena di approvvigionamento confederata. Fort Fisher era la più grande fortificazione in terra della Confederazione ed era il luogo di una grande battaglia anfibia.
La parte di Fort Fisher dell'isola ospitava varie installazioni militari tra il 1865 e il 1988, tra cui un poligono di tiro e una pista di atterraggio della seconda guerra mondiale. Il sito fu dichiarato Monumento Storico Nazionale nel 1961, il primo nella Carolina del Nord. Ora fa parte del sito storico statale di Fort Fisher, appartenente al Dipartimento delle risorse naturali e culturali della Carolina del Nord, e comprende il complesso principale del forte, un museo e un centro visitatori. L'area ricreativa statale di Fort Fisher è adiacente al sito storico statale, appena a sud.