حفظ المقاوم الجبلي القرآن الكريم في الكتاب، وعمره لم يناهز الثامنة، ما جعله يتميز بحافظة قوية تمكنه من التقاط الأشياء بمجرد سماعها. عقب ذلك، انتقلت أسرته إلى السكن في دار خال والده الفقيه الجبلي، الكائن بدرب سيدي أحمد بناصر بقاعة ابن ناهيض، والذي قطنه، في فترة من الزمن، خلال حكم الدولة المرينية، العالم الرياضي ابن البناء المراكشي، ما جعله يتكنى باسم هذه الدار، ذات الرمزية والحمولة التاريخية الكبيرة، والتي تعلم في الكتاب المجاور لها قواعد اللغة العربية.