Jacob van den Eynde uit Delft verwierf Haamstede in 1608. Hij liet de donjon restaureren en er een nieuw kasteel omheen bouwen. De restanten van de Gruuthusevleugel benutte hij niet. Alleen de poort bleef over. Het kasteel en de omliggende grond behoorde daarna aan de Zierikzeese regentenfamilies De Witte en Mogge. In de 18de eeuw werd het oude slot verbouwd tot een comfortabel buitenverblijf. Aan de westzijde kwam een nieuwe vleugel met de hoofdingang. De laatste familie die het goed in bezit kreeg, was de familie Van der Lek de Clercq. Sinds het midden van de 19de eeuw verblijven leden van deze familie bij tijd en wijle op het kasteel.
Het gebouwencomplex onderging tussen 1963 en 1973 een ingrijpende restauratie. Daarbij werd de oorspronkelijke donjon ‘ontdekt’ en werden de fundamenten van het grote kasteel van Lodewijk van Gruuthuse blootgelegd. In 1981 verkocht de familie Van der Leck de Clercq de gebouwen en omliggende grond aan Vereniging Natuurmonumenten. Ze behield het recht op gebruik van het kasteel en Slotbos.
Het kasteel tijdens de restauratiewerkzaamheden, circa 1970. (ZB, Beeldbank Zeeland, fotoarchief PZC)