Pese al desenvolvimientu alcanzáu, les condiciones del llugar nun fueron los meyores dende un principiu. La escasez d'agua potable yera una de les principales dificultaes, lo qu'obligó a los sos moradores a construyir dellos pozo y aljibe. La ciudá foi azotada por siquier tres incendio devastadores y por un terremotu, en 1621. Tamién foi asediada, en delles ocasiones, por pirates. El peor d'estos asedios foi'l comandado pol pirata inglés Henry Morgan, quien llegó al llugar el 28 de xineru de 1671 y permaneció ellí hasta'l 24 de febreru. Fueron los mesmos españoles per orde del gobernador Juan Pérez de Guzmán, y non Morgan, los que destruyeron la ciudá al volar los depósitos d'esplosivos.