XVII быуатта  һарай бушап ҡала. Капуциндар ордены вәкиле   Патер Рафаэль дю Ман 1660 йылғы әҫәрендә ширваншаһтар һарайын һүрәтләй һәм уның емерелеүе, тулыһынса бушап ҡалыуы тураһында яҙа. 1723 йылда  Баҡыны Петр I ғәскәре уратып ала, ҡаланы аттыралар. Шул арҡала һарайҙың көньяҡ-көнсығыш диуарҙары зыян күрә. Шундай хараба хәлендә һарай  XIX быуатта Рәсәй хәрби ведомствоһы ҡарамағына бирелә.