The first fortified building was the Ponce de León family home (today the Casa Blanca), which defensive features were added in the 1520s.
Sull'altro lato dell'isola San Germán era lasciata praticamente senza difese, e fu facile preda degli attacchi francesi per tutto il secolo.