De bouwheer van het kasteel stierf in 1708. Hij werd opgevolgd door verschillende eigenaars van de Sternberg familie. In 1757 werd het kasteel zwaar verwoest tijdens de belegering van Praag door het Pruisische leger. Daarom verkocht Jan van Sternberg het kasteel aan keizerin Maria Theresia die het liet restaureren voor het instituut van de adellijke dames die hun zetel hadden in de Praagse Burcht. Doch reeds in 1776 verkocht de keizerin het weer en daarna is het kasteel in handen geweest van verschillende wereldlijke en geestelijke eigenaars. In 1842 kwam het in handen van ridder Ferdinand Windischgr�tz.
Tussen 1977 en 1989 werd het kasteel grondig gerestaureerd en het wordt nu gebruikt door de Nationale Galerij van Praag als tentoonstellingsruimte.
Tegenwoordig is in Troja een deel van de verzameling Tsjechische 19de eeuwse schilderkunst van de Nationale galerij ondergebracht. In de voormalige stallen is een tentoonstellingsruimte ingericht.
Met uitzondering van de gebeeldhouwde trappartij oogt de buitenkant betrekkelijk sober. Karakteristiek is wel het rode en witte pleisterwerk.