Ebu Ali Muhammed'in doğum tarihi kesin olarak bilinmemektedir. Huzistan'a bağlı Cübba kasabasında ve 849-850 yılları arasında doğduğu tahmin edilmektedir. Soy itibariyle Hazreti Osman'ın (ra) kölelerinden olan Ebran'a dayandığı nakledilmektedir. Küçük yaşlardan itibaren ilim öğrenmeye başlamış, Basra'da Mu'tezile'nin önde gelenlerinden biri olan Ebu Yakub Yusuf bin Abdullah'tan kelâm dersleri almıştır.
Ebu Ali, Basra ve Bağdat'ta zamanın önemli âlimlerinden ders aldı. Zamanın önemli uğrak mekânlarından olan ilim meclislerinin müdavimleri arasında yer aldı. Buralarda yapılan münâzarâlarda yavaş yavaş kendini gösterdi. Münâzarâlardaki başarısıyla dikkatleri üzerine çekti. Aynı zamanda Hıristiyan din adamlarıyla yaptığı münazaralarda da adından söz ettirdi. Ders aldığı hocası Ebu Yakub aynı zamanda Mu'tezile reisi idi. 880'li yıllarda hocasının ölümü üzerine yerine geçerek Mu'tezile Reisi oldu. Bu görevini sürdürürken vefatına kadar talebelerine ders vermeye devam etti.
Ebu Ali Cübbaî, sadece ilim meclislerinde ve dışardan gelen kimselerle ilmi müzakere ve tartışmalarda bulunmadı. Ayrıca, oğulları ve talebeleriyle de bu tür münâzarâlara girdi. Bu münazaralarda bulunduğu kişiler, ünlü İmam Eş'arî ve kendi oğlu Ebu Haşim idi. Bunlarla muhtelif konularda münâzarâlarda bulundu. Ancak, "ihvan-ı selâse" olarak bilinen ve Cenâb-ı Hakk'ı zorunluluk altına sokan "vücub" görüşü üzerindeki kelâmî tartışmadan sonra, İmam Eş'ari hocası Ebu Ali'yi terk etti ve Sünnî görüşe yönelmeye başladı. Ebu Ali kelâm ilminin dışında fıkıh, tefsir ve hadis ilimleriyle de ilgilendi. Bu ilim dallarında bazı eserler kaleme aldı.
Mu'tezile imamlarının önde gelenlerinden sayılan Cübbaî, özellikle kelâm ile ilgili konularda görüş ve düşüncelerini anlaşılır bir ifade ile aktarmaya çalıştı. İlmin, bir şeye olduğu gibi inanmak olduğunu savundu. Duyuların bilgiye kaynaklık ettiğini, duyuların ötesinde bilgilere ulaşabilmek için tefekkür ve nazar etme gereğine inandı. Bu iki durumun kesin bilgiye ulaştıran metotlar olduğunu dile getirdi.
Ebu Ali, akıl sahibi olanların Allah'ın varlığı ve birliğini bilip tasdik etmekle yükümlü olduklarını, ancak, Allah'ın bazı sıfatlarını, akıl yürütme yoluyla bilmek zorunda olmadıklarını savundu. Mu'tezile imamlarının düşüncesinden farklı olarak; Allah'ın her konuda iyi ve faydalı olanı yapmasının gerekmediğini belirtirken; diğer taraftan da insanların sorumlu tutulduğu konularda onlar için uygun ve hayırlı olanı yapmasının vacip olduğunu savundu. Ona göre; insana akıl, fikir ve irade hürriyeti vermesi, peygamberler göndermesi, çocuklara ve delilere sorumluluk yüklememesi, kötülüğe mani olmasının Allah'a vacip olduğunu ileri sürdü.
Risâle-i Nur'da, Ebu Ali Cübbaî ile birlikte Zemahşeri de aynı anda konu edinilmekte, Ehli Sünnet büyükleri tarafından Cübbaî'nin merdûd ve matrûd sayılmasına karşılık, Zemahşeri için bir kurtuluş yolunun olabileceği ihtimaline yer verdikleri tesbitine vurgu yapılmaktadır. Bediüzzaman, Zemahşeri gibi düşünen insanların Ehli Sünnete itiraz sebeplerinin; Cenâb-ı Hakk'a küçük ve basit fiilleri vermeyip, Hakk'ı tenzih etmelerinden kaynaklandığını ve bundan dolayı Sünnet ehlinin esaslarını kabul etmediklerini belirtmektedir. Meselâ; Cenâb-ı Hakk'ı tenzih için, hayvanların kendi fiillerinin yaratıcısı olduklarını savunmuşlardır. Ebu Ali gibi Mu'tezile imamlarının ise, Ehli Sünnetin yüksek düsturlarına akıl ve fikirlerinin yetmediğini ve bu hakikatlere yetişemediklerini, dolayısıyla inkâra kalkıştıklarını belirtmektedir. İşte bu inkâr etme durumlarından dolayı Ümmet nazarında reddedilmiş olundukları kaydedilmektedir. Zemahşeri gibi düşünenler ise, Cenâbı Hakkı tenzih muhabbetinden yola çıktıkları ve mesleklerine olan aşırı bağlılıkları, hataya düşmüş olmakla birlikte, Ümmet nazarında kendileri için bir kurtuluş yolunun olabileceği ihtimali kabul görmektedir. (Mektubat, 1994, s. 437)
Ebu Ali Cübbaî, devlet başkanı seçme konusu ile ilgili olarak; Müslümanların yek diğerine karşı iyi davranıp yardımcı olmaları, zülme karşı çıkıp önlemeleri ve ülke sınırlarını korumaları halinde devlet başkanını seçmelerine gerek kalmayacağını savunmuştur. Ancak, pratikte buna imkân yoktur. Dolayısıyla devlet başkanının seçilmesi bir zorunluluk halini almaktadır. Devlet başkanının seçimle başa getirilmesi gereğini belirtmekle birlikte, toplumun onay vermesi halinde veliaht tayin etmenin caiz olduğunu da ileri sürmüştür.
Ebu Ali'nin görüşleri, aralarında kendi oğlu Ebu Haşim olmak üzere, talebesi Eş'ari ve muhtelif âlimler tarafından tenkit edilmiştir. Fikirleri daha çok yaşadığı bölge olan Hüzistan'da etkili olmuş ve sonradan gelen Mu'tezile müntesipleri üzerinde etkili olmuştur. Özellikle Hüzistan bölgesinde fikirlerinden etkilenen ve kabul eden insanlar çoğalırken, bu kimseler, babasından fikri bakımdan ayrılan Ebu Haşim'in fikirlerini benimseyenleri küfre düşmekle itham etmişlerdir.
Başta Kelâm ilmi olmak üzere değişik ilim dallarında eser yazan Ebu Ali'nin eserleri önemli bir yekûn tutmaktadır. Ancak, önemli bir kısmı günümüze kadar ulaşmamıştır. Yüz cilt olduğu ileri sürülen ve daha çok Mu'tezile kaynaklarında kendisine atfedilen önemli eseri Tefsirü'l-Kur'ân'dır. İmam Eş'ari tarafından bu esere reddiye yazılmıştır. Fahreddin Razi de yazdığı tefsirinde bu esere atıfta bulunarak Cübbaî'nin yorumlarını tenkit etmiştir. Yine kendisine atfedilen ve Cahız'ın marifet nazariyesini tenkit etmek için yazılan eser Nakzü'l-ma'rife adını taşımaktadır. Bunların dışında; Müteşabihü'l-Kur'ân, Men yükeffer ve men lâ yükeffer, Nakzü'l-imame, el-Usûl, Nakz-ı Kitab-ı Abbad adını taşıyan eserler de kendisine ait olduğu belirtilmektedir.
Ebu Ali Cübbaî, 916 yılı başlarında Askerimükrem'de vefat etti. Cenaze namazı burada kılındı. Oğlu Ebu Haşim tarafından, naaşı Cübba'ya götürülerek burada defnedildi.