رغم الاهتمام الكبير بقصر الزعفران الذي كان مخصص لاحتفالات الخديوي إسماعيل، إلا أنه تنازل عنه لوالدته خوشيار هانم في عام 1872 حتى تقيم به للاستجمام والاستشفاء، ولكن القصر أيضاً استقبال الإنجليز الذين قاموا بتخريبه بعد أن أمر الخديوي باستقبال الضباط الانجليز في عام 1882 بعد وصولهم مصر بعد هزيمة عرابي، ولكنهم احتلوا القصر لمدة 5 سنوات وقاموا بتخريب أجزاء منه بعد أن طردوا العاملين به.

وبعد أن تركوا الضباط الإنجليز في عام 1908، بدأ قصر الزعفران في استقبال طلاب العلم لأول مرة بعد أن قررت وزارة المعارف تحويله إلى مدرسة ثانوية باسم (مدرسة فؤاد الأول) وبالفعل حضر افتتاحه الملك فؤاد بشخصه، وظل قصر الزعفران مقر للمدرسة الثانوية حتى عام 1925، حيث تحول إلى إدارة الجامعة المصرية التي عرفت بعد ذلك باسم (جامعة القاهرة) وبعد نقل إدارة الجامعة إلى الجيزة، أصبح القصر دار ضيافة تابع لوزارة الخارجية المصرية.

واستكمل قصر الزعفران رحلته من مالك إلى أخر، وفي عام 1952 تحول القصر إلى مقر لكلية الحقوق بجامعة إبراهيم باشا (جامعة عين شمس حالياً) وعلى الرغم من اعتبر قصر الزعفران واحدة من المباني الأثرية الإسلامية في عام 1985، ولكن بعد ذلك ضمت جامعة عين شمس قصر الزعفران، وتحول إلى مبنى إداري للعاملين بالجامعة، ولكنه مازال يحتفظ حتى اليوم بأثاثه الفاخر حتى اليوم.