اشتراه في سنة 923م محمد بن طغج مؤسس الأسرة الإخشيدية كواحد من الرقيق من الحبشة، وكان مخصي وأسود اللون، ولم يكن كافور علي سواده وسيماً بل كان دميماً قبيح الشكل مثقوب الشفة السفلي مشوه القدمين بطيئاً ثقيل القدم، فوقع في يد أحد تجار الزيوت فسخره في شؤون شتى. وقاسي كافور الأمرين ولقي الكثير من العنت من سيده. حتي إذا خرج من تحت قبضة سيده ووقع في يد محمود بن وهب بن عباس الكاتب، فعرف كافور السبيل نحو القراءة والكتابة فنفض يديه متاعب المعصرة وأدران الزيت فالسيد الجديد ابن عباس الكاتب هذا كان موصولاً بمحمد بن طغج ويعرفه منذ كان قائداً من قادة تكين أمير مصر وقتها وقبل أن يصبح ابن طغج علي حكم مصر.