Sau cái chết của Harun vào năm 809, al-Abbas ban đầu được người kế nhiệm của ông al-Amin thuê làm sứ giả cho al-Ma'mun ở Khurasan, nhưng giữa cuộc xung đột ngày càng tăng
giữa hai anh em ông đã nhanh chóng bị thuyết phục để thay đổi bên và cung cấp cho sự trung thành của mình để al-Ma'mun thay thế. Vào tháng 3 năm 812, ông tham gia vào cuộc đảo chính thất bại của al-Husayn ibn Ali ibn Isa, trong đó ông chịu trách nhiệm bắt giữ cá nhân cả al-Amin và mẹ Zubaydah bint Ja'far, và sau đó ông được chọn để lãnh đạo các cuộc hành hương đầu tiên được thực hiện nhân danh al-Ma'mun, vào năm 812, 813 và 814.