Hänen valtansa kuitenkin kielsivät Ludvigin seuraajat Habsburgista, jotka epäilevästi katselivat Hohenzollerin talon vallan saantia Sileesiassa. Valkoisen vuoren taistelun jälkeen 1620
Habsburgin keisari Ferdinand II käytti tilaisuutta hyväkseen ja riisti Brandenburgin vaaliherran Georg Wilhelmiltä Bytomin hallinnon. Sen jälkeen se pysyi Habsburgin monarkiaan kuuluvana valtiona, kunnes Preussin liittäminen tapahtui vuonna 1742.