Saraybosna yakınlarında "Drozgometva" adlı bir köyde Boşnak asıllı olarak doğmuştur. Ak hadımlardan olup, devşirme olarak eğitimi Enderun'da görmüştür. Bâbüssaâde ağalığı ve bazı beylerbeyliği görevlerinde bulundu.
Sultan II. Bayezid tahta çıktığı zaman Cem Sultan ayaklanmasında II. Bayezid'ın has adamı olarak 1482'de Karaman beylerbeyi yapıldı. Bu görevde iken Cem Sultan ve Karamanoğlu Kasım Bey'in Konya kuşatmasında şehri başarı ile savundu. Sonra Semendire valisi ve Rumeli beylerbeyi oldu. Bu görevde iken Boğdan Prensi "Stefan Çel Mare(III. Ştefan)" isyan etmiş ve Akkerman Kalesi'ni kuşatıp alma girişiminde idi. Hadım Ali Paşa onun üzerine yürüyüp kaleyi kuşatmadan kurtardı ve Prens'in Lehistan'a kaçmasına neden oldu. Bu seferinden başarı ile dönünce 1486'da vezir oldu.
Bundan sonra Hadım Ali Paşa, 1485–1491 döneminde yapılan Osmanlı-Memluk Savaşı'na katıldı ve bu savaşın son safhasında Osmanlı ordusu komutanı oldu. Bu savaş içinde katıldığı ilk sefer serdar sadrazam Davut Paşa'nın maiyetinde olarak 1487'de olmuştu. 1488 yılında devam eden savaşta Osmanlı Ordusu vezir Hadım Ali Paşa komutanlığı altında Çukurova'ya hücuma geçip burayı, özellikle Adana, Tarsus, Anazarva, Sis kalelerini ele geçirdi. Memluk'lular Sultanı Kayıtbay, emir Özbek Bey komutasında bir sefer ordusunu Çukurova'ya gönderdi. Bu ordu ile Osmanlı Ordusu 16 Ağustos 1488 tarihinde Ağaçayırı Muharebesi'ne giriştiler. Hadım Ali Paşa komutası altında bulunan Osmanlı ordusu bu muharebede yenildi. Memluklu ordu komutanı Emir Özbek Bey Çukurova'da Osmanlılardan temizlemeye başladı. Bu arada Osmanlıların elinde bulunan Adana kalesi 3 ay bir kuşatma sonucunda kaybedildi. Bu savaşa katılan paşalar vezirlikten azledildiler.
Sonra Venediklilerle yapılan savaşlara iştirak etti. 1500'de Mora yarımadası ile Navarin, Zantio, Modon ve Koron kaleleri ile Kefalonya ve Ayamavri adalarını aldı. Bunun üzerine ikinci vezir oldu. 1501'de Venedikliler bir baskınla Navarın'ı tekrar ele geçirdikleri için bu kale üzerine tekrar gidip Kemal Reis'in denizden desteği ile geri aldı. Mora valiliğine tayin edildi.
1501'de Mesih Paşa'nın ölümü ile ilk kez sadrazam yapıldı. İki yıl sonra azledilerek yerine Hersekli Ahmed Paşa getirildi.
1506'da ikinci defa sadrazamlığa getirildi ve ölünceye kadar bu görevde kaldı.
Nisan 1511'da isyana başlayan Şahkulu İsyanı' nı bastırmakla görevlendirildi. Sivas civarında Çubukova ya da Gökçay mevkiinde yapılan Gökçay Muharebesi'inde Sadrazam Hadım Ali Paşa komutasındaki Osmanlı ordusu Şahkulu güçlerini yendi ve isyanın bastırılmasını sağladı.
Ama sadrazam Hadım Ali Paşa bu muharebede ağır yara almıştı. Sadrazam tedavi için Amasya'ya getirildi fakat tedavisi yararlı olmadı. Kısa bir zaman sonra vefat etti. Naaşı Amasya'da bulunan Kurtboğan Türbesi yanındaki Vezir-i Âzam Atik Ali Paşa Türbesi'ne defnedildi.
Hadim Ali Paşa ölmeden önce II. Bayezid' ın şehzadelerinin sultan olma için aralarındaki mücadelede Şehzade Ahmet'in tahta geçmesini desteklemekteydi. Ölümüyle Şehzade Ahmet taht kavgasında büyük güç kaybetti. 1512'de Yavuz Selim babasını tahttan indirip Osmanlı İmparatorluğu tahtına çıktı
İstanbul'da Divan yolundaki, Atik Ali Paşa Camii'si ile yanındaki medrese, mektep, ve imareti o yaptırmıştır. Ayrıca Fatih' teki Vasat Atik Ali Paşa Camii'si ile Edirne'de adıyla anılan camiyi yaptırmıştır. Ayrıca Diyarbakır'da Hadım Ali Paşa Camii adında 1534-1537 yılları arasında arasında bir cami yaptırmıştır.