dari perkawinannya denyan suryani, agus dikarunia lima anak.
anak pertama masih berusia 13 tahun, uswatun hasanah namanya.
disusul akhmad heramudin, sumayya syahidah, hafizhah raehana, dan si bungsu muhammad asyraf.
kelima anaknya itu memanggil ayahnya "abba" dan memanggil ibunya "ummi".
saat ditanya bagaimana kelima anaknya saat mengetahui ayahnya ditahan di filipina, suryani mengatakan, kelima anaknya -sebagaimana dirinya- berusaha tabah.