Ce rocher, toujours âprement convoité, a vu l'installation de divers bâtiments au cours des 2000 dernières années. Il a tout d'abord été le siège d'un bâtiment administratif ou un lieu de culte à la période romaine de la cité ; une colonne sculptée ayant été retrouvée aux pieds du Château lors de fouilles partielles. Aux environs de l'an 1000, le comte de Blois y construira une forteresse, immédiatement assiégée et reprise par Foulques Nerra comte d'Anjou. Il la modifiera et elle restera imprenable pendant plus de 150 ans, jusqu'à ce qu'Henri II Plantagenêt l'assiège en 1154, et la prenne à Guillaume IV de Montsoreau. Il la lui rendra quelques années plus tard, et elle ne sera jamais reprise. A la fin de la guerre de 100 ans, Charles VII donne l'autorisation à ses plus fidèles seigneurs de construire des châteaux de plaisance, et c'est ainsi que Jean II de Chambes, son premier conseiller, se porte acquéreur de la forteresse de Montsoreau, propriété de son beau frère. Ambassadeur de Venise et de Turquie, capitaine des principaux ports français, cet homme richissime entreprendra de détruire la forteresse, afin de construire un des bâtiments les plus modernes de France. C'est ainsi que la Renaissance prend corps dans le Val de Loire, avec la construction du château de Montsoreau, un des tout premiers châteaux de plaisance français. Il restera le seul de tous les châteaux de la Loire à avoir été construit dans le lit même de la Loire, sur le rocher de Montsoreau.