Osatu esaldi hau: "Gaztelua XVI. mendearen amaieran eraitsi zen". 1616ko suteak eta erredurak
1657. urteko uholdeak suntsipen handiagoa ekarri zuen. Gotorlekua aldian-aldian konpondu zen, baina mugaketa eta Poloniaren eta bere bizilagunen arteko harremanak aldatu zirenez, bere garrantzia galdu zuen. Poloniaren zatiketaren ondoren, Będzin Prusiaren kontrolpean geratu zen eta gaztelua Hohenzollern familiaren jabetza bihurtu zen. 1807an, inguruko lurrak Varsoviako Dukerriari eman zitzaizkion, eta 1815ean, Poloniako Kongresuari. 1825ean gaztelua ia desegiten ari zen, eta harri zati batek igarlea zapaldu zuenean, gaztelua eraisteko agindua eman zen, baina hasi aurretik, gaztelua monumentu izendatu zuten. 1830eko hamarkadan, gaztelua Edward Raczyński kondeak erosi zuen eta zati bat berreraiki zuen, eta eliza protestantea aldi baterako sartu zen barruan, baina Raczyński 1845ean hil ondoren, akademia edo ospitale bat irekitzeko planak bertan behera geratu ziren, eta gaztelua berriro ere hondatuta geratu zen.