İlk eğitimini Hanefî fakihlerinden olan babasından, Ebû Gānim Ahmed b. Ali b. Hüseyin el-Kürâî ve İbn Ebû Heysem diye tanınan Muhammed b. Abdüssamed et-Türâbî’den aldı. 461’de (1068) gittiği Bağdat’ta fıkıh ve hadis dersleri aldı. Ebû İshak eş-Şîrâzî ve Ebû Nasr İbnü’s-Sabbâğ gibi Şâfiî âlimleriyle müzakerelerde bulundu. Ertesi yıl Bağdat’tan Hicaz’a giderken yolunu kesen bir grup bedevî tarafından esir alındı. Bir süre onların develerine çobanlık yaptı. Bedevîlerin ileri gelenlerinden birinin nikâhını kıyacak bir âlim aranınca Sem‘ânî’yi tanıyan bir esir onun Horasan’ın fakihi olduğunu söyledi. Bunun üzerine Mekke’ye götürüldü. Mekke’de altı yıl kalan Sem‘ânî, Ebü’l-Kāsım Sa‘d b. Ali ez-Zencânî ve başka âlimlerden ders aldı. Burada Hanefî mezhebinden Şâfiî mezhebine geçti. Bunda Bağdat ve Mekke’de ders aldığı Şâfiî hocalarının etkisi olduğu anlaşılmaktadır. Ayrıca kardeşine yazdığı bir mektupta Merv halkının itikadda kaderciliği benimsediğini, kendisinin mezhep değiştirerek Kaderiyye’yi terkettiğini söylemiştir. Merv’e döndüğünde (468/1075-76) Şâfiîliği benimsediğini açıklayan Sem‘ânî’ye kardeşi Ebü’l-Kāsım Ali ve ailesi şiddetle tepki gösterdi, halk tarafından kınandı. Merv’de oluşan huzursuzluk sebebiyle Tûs’a gitmek zorunda kaldı. Oradan Nîşâbur’a geçip medreselerde ders vermeye başladı, kısa zamanda bölgede şöhreti yayıldı. 479’da (1086) Merv’e dönüp Şâfiîler’e ait bir medresede talebe yetiştirmekle meşgul oldu. 23 Rebîülevvel 489 (21 Mart 1096) tarihinde burada vefat etti.