Bağdat valisi Gürcü Mehmed Necip Paşa’nın oğludur. Öğrenimini tamamladıktan sonra Sadaret Mektubi Kalemi’nde göreve başladı. 1847’de sadaret müsteşarı oldu. Aynı yıl hariciye müsteşarlığı görevine getirilen Mahmud Nedim Paşa, 1855’de Sayda valisi olarak taşra hizmetine çıktı. Aynı yıl Şam ve 1856’da da İzmir valiliğine atandı. 1858’de İstanbul’a dönerek, Tanzimat Meclisi üyesi oldu. Bu sırada Hariciye nazırı Fuad Paşa’nın Paris’e gitmesi üzerine, Hariciye nazırlığı vekaletine getirildi. Kendi isteğiyle 1860’da Trablusgarp valiliğine atandı. Bu sırada kurulan Yeni Osmanlılar Cemiyeti’nin, Ali Paşa’nın yerine kendisini sadrazam yapacağı yollu söylentiler yayması üzerine İstanbul’a gelerek Ali Paşa’dan aff diledi. Böylece Babıali’deki itibarını koruyan Mahmud Nedim Paşa, 1867’de Meclis-i Vala üyesi olarak İstanbul’a döndü. 1868’de ikinci defa sadaret müsteşarı olduktan sonra, Ali Paşa’nın ölümü üzerine sadrazamlığa getirildi (1871).
Sadrazam olunca yaptığı ilk iş Ali Paşa’nın dostlarını, iş arkadaşlarını görevlerinden uzaklaştırmak oldu. Rus elçisi İgnatiev’le kurduğu iyi ilişkiler ve dış siyasette izlediği, Rus yanlısı politika yüzünden, "Nedimof" lakabıyla anıldı. 1872’de Sultan Abdülaziz tarafından sadaretten alınarak, Kastamonu valiliğine gönderildi. Yerine getirilen Midhat Paşa, hazineyi zarara uğrattığı gerekçesiyle, Mahmud Nedim Paşa’yı İstanbul’a getirtti. Yapılan soruşturmadan bir sonuç alınamayınca, Trabzon’da oturmaya mecbur edildi. Hersek ayaklanmasının başlaması üzerine, tecrübeli devlet adamı olarak, yeniden sadarete getirildi (1875). Ayaklanmayı önleyemediği gibi Balkanlar’da yeni çıkan olayların da önünü alamadı. Düyun-ı Umumi’ye için ayrılan tahvil faizlerini % 50 düşürünce, Avrupa devletleri protestolara başladı. Ülke içinde de karışıklıkların baş göstermesi üzerine Abdülaziz tarafmdan görevinden azledildi. Çeşme’ye sürüldü. II. Abdülhamid devrinde Musul valiliği, sonra da Dahiliye nazırlığına getirildi (1879). Bir süre sonra hastalandığı için Dahiliye nazırlığı görevinden alındı.
Yakalandığı hastalıktan kurtulamayarak 14 Mayıs 1883’te öldü. Cenazesi Cağaloğlu’ndaki türbesine gömüldü.
Şiirlerini topladığı Divan’ı ve kendisine karşı ileri sürülen iddiaları cevapladığı Reddiye’si basılmamıştır. Hikaye-i Melik-i Muzaffer; Ayane ve Hasbıhal isimli eserleriyse yayımlanmıştır.