La famille décline rapidement et le fief de Frankenbourg passe à l'evêché de Strasbourg qui l'engage à partir de 1393 à diverses familles: les Lützelsheim, les Uttenheim zum Ramstein, les Bock, les Hohenstein. De 1489 à 1789, le Grand Chapître administre seul le château et le Comte Ban (villages de rive droite du Giessen). Encore habité pendant la Guerre de Trente Ans (1618-1648), le château est progressivement délaissé à partir du XVIIème siècle. Sa dernière mention remonte à 1634. 