Jacques 1er d'Estampes fait raser le château féodal en 1540 pour entamer la construction du château actuel. La famille d'Estampes contribuera au développement de la ville. En 1642, Dominique d'Estampes et Marguerite de Montmorency sont à l'origine de la fondation du couvent d'Ursulines destiné à l'éducation des jeunes filles.