Sau cái chết của Harun ở Khurasan vào đầu năm 809, Abdallah vẫn ở lại tỉnh, gia nhập triều đình của người thừa kế thứ hai của Harun, al-Ma'mun (r. 813833), tại Marw. Trong cuộc nội chiến sau đó
giữa al-Ma'mun và người anh em cùng cha khác mẹ của ông, Caliph al-Amin (r. 809<unk>813), ông phần lớn ở bên lề ở Marw. Ông là một trong một số nhà lãnh đạo quân sự từ chối đứng đầu chính phủ của al-Ma'mun, một vị trí cuối cùng đã rơi vào tay Fadl ibn Sahl. Mối quan hệ của ông với al-Ma'mun bị căng thẳng, nhưng ông đi cùng ông về phía tây và ở cùng ông khi ông vào Baghdad năm 819.