Güssen familia behartsuegi bihurtu zen gaztelua mantentzeko, eta 1613an herri osoa eta gaztelua Württembergeko dukerriari saldu zioten. 1617an, Julius Friedrich von Württemberg dukeak Brenz eta Weiltingen herriak bere kontrolpean hartu zituen, Württemberg-Weiltingen Württemberg lerro txikia sortuz. Schloss Brenz bere familiaren aldi baterako egoitza izan zen. Hala ere, gaztelu kaltetua 1634an suntsitu zuten Nördlingeneko guduan.
30 urteko gerra. 1672an, Friedrich Ferdinand dukeak gaztelua berreraiki zuen Errenazimentuko estiloan. Gaztelu zaharraren oinarriak eta pareten zati batzuk oraindik ikusgai daude, baina gazteluaren zati handiena berria eraiki zen.