_Huisbergh 3
Op de voorburcht kwam het huidige rentmeestershuis tot stand. De bebouwing van de voorburcht was omvangrijker dan tegenwoordig met gebouwen langs de westelijke muur waarin dienstgebouwen waren gevestigd. Tussen 1680 en 1700 werd het kasteel verfraaid met de omlijstingen van de toegang tot de hoofdburcht en de ingang van de grote zaal.
In 1735 brandde de hoofdburcht van het kasteel volledig af. Het herstel werd direct ter hand genomen, waarbij een rondlopend dak ontstond en de ramen werden vervangen door schuifvensters om meer lichtopbrengst te verkrijgen. Het kasteel werd na de brand echter niet meer bewoond en werd voor meerdere doeleinden gebruikt. Zo was er tussen 1798 en 1840 een seminarie in het kasteel gevestigd.
In 1912 kocht Jan Herman van Heek het kasteel van de vorst van Hohenzollern-Sigmaringen. Het kasteel verkeerde in een desolate staat en werd geleidelijk door Van Heek hersteld. In 1939 ontstond opnieuw brand in de hoofdburcht, die volledig uitbrandde. Het herstel werd door Van Heek onmiddellijk ter hand genomen. Hij herstelde de ramen van het kasteel door de oude kruisvensters, die er vroeger ook geweest waren, te herstellen. Ook werd een klein stukje van de vroegere ringmuur opnieuw opgebouwd. Het dak van het kasteel werd gewijzigd waardoor een aantal op zichzelf staande kappen en daken ontstonden.