Le , le navigateur portugais Vasco de Gama y arrive et y reste six jours. C'est le début de la fin de la tranquillité pour la petite cité. Les Portugais, sous les ordres de Francisco de Almeida, reviennent et pillent la ville en 1505 et, à nouveau, en 1528 avant de s'y établir en 1529. Ils raffermissent leur emprise en 1593 avec la construction du fort Jesus et de cinq autres fortifications plus modestes qui en font, ainsi, une place forte à vocation commerciale sur la route des Indes.