L’île a subi l’influence de nombreuses civilisations (celte, ligure, étrusque, grecque et romaine) et des fouilles récentes ont mis au jour plusieurs sites archéologiques. Elle conserve également les traces d’une architecture militaire, dont le plus ancien, le Fort Ste Agathe, érigé au sur les ruines de l’ancien château. En témoignent aussi les Forts de l’Alycastre, du Grand et Petit Langoustier, de la Repentance et autres batteries. Se succèderont de nombreux propriétaires jusqu’en 1912, date à laquelle de retour du Mexique, François-Joseph Fournier, un aventurier belge qui ayant fait fortune dans les mines d’or et d’argent achète l’île pour l’offrir en cadeau de mariage à son épouse. Il développera la vigne, la culture maraichère, et l’élevage. En 1971, l’État acquiert les 4/5e de l’île et confie la gestion au Parc National de Port-Cros.