بعدها بسنوات أهدي محمد علي القصر لأبنته زينب هانم اللى لم تهتم به فقام محمد على باشا فى سنة 1835 بتحويل جزء من هذا القصر الى أول متحف للآثار فى مصر تحت اشراف الشيخ رفاعة الطهطاوي , كما قام بانشاء مدرسة الألسن فى جزء آخر منه .اما الجزء المتبقي منه اصبح قصر يوسف كامل باشا صهر محمد على ، ثم انتقلت ملكية القصر للأمير حليم الاخ الأصغر لزينب هانم اللي قام بهدمه وتقسيمه سنة 1892