El a fost eliberat după ce a ispăşit trei ani de închisoare şi a plecat apoi în Pakistan în 1984 pentru a lupta împotriva ocupaţiei sovietice din Afganistan.
El Zevahiri üç yıl hapis yattıktan sonra tahliye edildi ve 1984 yılında Pakistan'a giderek burada Afganistan'daki Sovyet işgaline karşı savaştı.