Escriu una continuació per a aquest paràgraf - El castell va caure en mal estat a finals del segle XVI. L'incendi de 1616 i els danys durant el Diluvi
el 1657 va resultar en la seva destrucció. La fortalesa va ser reparada periòdicament, però a causa dels canvis en el traçat de les fronteres i les relacions entre Polònia i els seus veïns, va perdre gran part de la seva importància. Després de les particions de Polònia, Będzin va caure sota control prussià i el castell va esdevenir propietat de la família Hohenzollern. El 1807, les terres properes van ser transferides al Ducat de Varsòvia, i el 1815, al Congrés de Polònia. El 1825 el castell estava pràcticament caient a part, i quan un tros de la pedra va aplastar un transeünt, es va ordenar la demolició del castell, però abans que es comencessin, el castell va ser declarat monument. En la dècada de 1830 el castell va ser comprat pel comte Edward Raczyński i parcialment reconstruït, amb una església protestant allotjada temporalment a l'interior, però després de la mort de Raczyński el 1845 es van abandonar els plans per obrir una acadèmia o un hospital, i el castell va tornar a caure en mal estat.