মুসা খাঁ এর মৃত্যুর পর তার পুত্র ফিরোজ খাঁ দ্বিতীয় বংশধর পরগনার অধিপতি হন এবং তাহার মৃত্যুর পর মনোয়ার খাঁ (৩য় বংশধর) পরগনার অধিপতি হন। পরবর্তীতে তাহাদের বংশধর হত্তুখাঁ, নত্তুখাঁ, পাহাড়খাঁ (৪র্থ বংশধর) এবং পাহাড় খাঁ এর পুত্র চামরু খাঁ (৫ম বংশধর) এবং অন্যান্য বংশধররা সোনারগাঁওয়ে অবস্থানকালীন ১৭৭০ইং সালের দিকে তৎকালীন শাসক ইস্ট ইন্ডিয়া কোম্পানী সেই ঐতিহাসিক সোনারগাঁও দখল করে এবং  সোনারগাঁও থেকে ঈশা খাঁ ৪র্থ ও ৫ম বংশধরদের বিতাড়িত করেন। ৪র্থ ও ৫ম বংশধররা প্রাণের ভয়ে ঘোড়া ও বড় বড় নৌকাযোগে বাংলাদেশের সুদূর দক্ষিণে সুন্দরবনের ধারে সাতক্ষীরা জেলা কালিগঞ্জ থানার মহৎপুর গ্রামে আশ্রয় গ্রহণ করেন এবং ঐ স্থানে যাওয়ার পর বংশধররা তাহাদের নিয়ে যাওয়া মোহর দিয়ে অনেক ভূমি খরিদ করেন এবং নতুনভাবে ইমরাত তৈরি করেন। সেই সময় হইতে খাঁ বাড়ী বলে পরিচিত। ঐ সময় হতে তাহার বংশধররা সেখানে স্কুল, কলেজ, ঈদগাহ, মসজিদ, মাদ্রাসা, কবরস্থান ইত্যাদি তৈরি করেন। চামরু খাঁ এর পুত্র তালেব খাঁ (৬ষ্ঠ বংশধর), তালেব খাঁ এর পুত্র  আজিজাত খাঁ, চন্দন খাঁ, শাহাদৎ খাঁ, আমানতউল্লাহ খাঁ (৭ম বংশধর), শাহাদৎ খাঁ এর পুত্র ছবিলার রহমান খাঁ (৮ম বংশধর), ছবিলার রহমান খাঁ এর পুত্র নজিবর রহমান খাঁ, কন্যা স্বপ্না নাসরিন ও নাছিমা সুলতানা রত্না (১০ম বংশধর)। নাসিমা সুলতানা রত্না ঈশা খাঁ ফাউন্ডেশন এর প্রতিষ্ঠাতা চেয়ারম্যান। তিনি কবি, ইতিহাসবিদ ও সমাজ সেবক। হায়বাত খাঁ নামক একটি পরিবার বাণিজ্য সূত্রে বাগেরহাট জেলার খাঁর আবাদ নামক স্থানে বসতি স্থাপন করেন। তাহাদের খাঁ এর নামানুসারে খাঁর আবাদ নামকরণ করেন। সেখানেও তাহারা ইমারত তৈরি করেছিলেন।