Samotná stavba se v průběhy let poměrně dosti proměnila.
Byť to možná není na první pohled patrné, objekt tzv. Šlechtovy restaurace ve Stromovce patří mezi nejstarší stavby v Praze 7. Základ stavby byl položen v devadesátých letech 17. století, kdy byl tento pavilon (tehdy zvaný casino) budován. Jméno architekta není známé, s největší pravděpodobností jím byl Jean Baptiste Mathey. Jádro budovy tvořil velký sál pro pořádání dvorských slavností, po bocích doplněný o menší „relaxační“ místnosti. Velice cenné nástropní fresky velkého sálu vytvořil Jan Jakub Steinfels. Samotná stavba se v průběhy let poměrně dosti proměnila. Největší změny přineslo 19. století. Na jeho počátku ztratila Královská obora svou výlučnost ve smyslu uzavření pro veřejnost a s tím také souvisela nutnost najít pro objekt nové využití.  Již záhy se objevily plány na zřízení kavárny a restaurace pro veřejnost. Bylo ale nutné provést adaptační práce, ke kterým nakonec po průtazích došlo až v roce 1855, kdy se začalo s rekonstrukcí podle návrhu Bernarda Gruebera. Budova výrazně  změnila svůj vzhled, po obvodu přibyl kamenný novogotický ochoz. Svůj název získala restaurace po jednom z jejích nájemců – Václavu Šlechtovi, který ji provozoval od roku 1882. V té době se už jednalo o velice populární místo, samotná Stromovka se stala oblíbeným cílem Pražanů. Vedle vlastní budovy sloužila hostům i přilehlá zahrádka tzv. Kaštanka s altánem, který zároveň sloužil jako pódium pro účinkující během koncertů.  Restaurace se zde udržela i po roce 1948, velkou ránu Šlechtovce zasadil požár v roce 1980. Oheň zcela zničil krov a mobiliář restaurace, velice utrpěla i Steinfelsova freska. Další ranou pro už tak zkoušený objekt byly povodně v roce 2002, kdy byla řadu dní stejně jako přilehlá Stromovka zcela pod vodou. Celou následující dekádu se pak mluvilo o celkové opravě budovy – doslova na spadnutí byla při výstavě tunelového komplexu Blanka. Ani tehdy se nic nestalo, nicméně v současné době práce skutečně začaly a velké část rekonstrukce by měla proběhnout  v roce 2018.