Гаштольды валодалі замкам да 1542 року. Потым ён перайшоў да караля Жыгімонта I, а ад яго — да Жыгімонта Аўгуста. У XVII стагоддзі Геранёны — ва ўладанні Панаў.Пад час руска-польскай вайны 1654-1661 рокаў замак быў разбураны, але, відаць, неўзабаве яго зноў аднавілі. Вядома, напрыклад, што ў 1670 року князь Міхаіл Пан аддаў Геранёны разам з Ліпнішкамі ў дзяржаўнае ўтрыманне, а грашовыя прыбыткі ішлі на развіццё вялікакняскай артылерыі.