1511 йылда ер  тетрәү һөҙөмтәһендә Лихтенбеорг менән йәнәшәләге  Ваген () ғаиләһе ҡәлғәһе емерелә, һәм улар Богеншперк һарайын төҙөй башлай. 1533 йылда замок  Ваген ғаиләһе милеге булараҡ телгә алына, ул үҙенең исемен шуларҙан ала. 1672 йыл һарайҙы билдәле словен ғалимы Янез Вайкард Вальвазор һатып ала. Вальвазор һарайҙа бай китапхана булдырыу һәм баҡырҙа   гравировкалау буйынса оҫтахана ойоштора. Ул шулай уҡ һарайҙы яңырта, ҡоҙоғон тәрәнәйтә һәм Изге Богоматерь сиркәүен төҙөй. 1692 йылда Вальвазор замок һатырға мәжбүр була, шунан һуң уның хужаһы бер нисә тапҡыр алмашына. Һуңғы хужаһы (1853 йылдан Икенсе донъя һуғышына тиклем) кенәздәр Виндишграц () була, һуғыштан һуң һарай хәрби госпиталь итеп файҙаланыла, аҙаҡ унда иезуиттар йәшәй.