Voltando à ilha, a permanência aí não era fácil pois a escassez de alimentos, as doenças e os constantes assaltos de piratas e corsários marroquinos, argelinos, ingleses e franceses, tornaram impossível a vida de retiro dos frades que, muitas vezes, ficavam incomunicáveis devido à inclemência do mar. Assim acabaram por abandonar a ilha, restando hoje poucos vestígios da sua presença.