Habib Muhammad bin Yahya ranak pada tahun 1260 Hijriyah (1844 Masehi) di Al-Masilah, sabuah desa halus di Hadramaut. Muhammad baasal matan kaluarga Alawiyyin bamarga Aal bin Yahya, abahnya ngarannya Sayyid Ali bin Hasan bin Thaha bin Yahya (w. 1875), pahadangan mama'nya marupakan saurang Syarifah matan kaluarga bin Thahir. Abah matan kainya, Habib Thaha bin Muhammad bin Yahya marupakan laluhurnya nang panambaian babuat di Nusantara. Inya panambaian babuat di Indunisia malimpati Pulau Pinang, Malaysia. Wayah di Pulau Pinang, inya badapat lawan Sultan Hamengkubuwana II (1750-1828) nang diasingakan Belanda, nang kamudian manjadi murid sakakali mintuhanya.