قام يوسف السباعى وزير الثقافة السابق سنة 1975 بضم القصر إلى هيئة الفنون والآداب وقطاع الفنون التشكيلية حاليًا، وفي سنة 1978 صدر قرار جمهوري لتخصيصه متحفاً لمجوهرات أسرة محمد على، وتم إلغاؤه بقرار جمهوري آخر سنة 1986،وذلك بعد تخصيص قصر فاطمة حيدر بالإسكندرية متحف للمجوهرات، ليعود مرة أخرى تحت تصرف وزارة الثقافة ليصبح بذلك مجمعاً الفنون.