5 Haziran 2007 tarihinde geçirdiği kalp krizi sonucu hayata gözlerini yuman eski başkan için ailesi, ilçe teşkilatı ve sevenleri kabri başında Ali Yılmaz’ı anarak dua edecekler.
1980’li yıllarda Cumhuriyet Halk Partisi içerisinde çeşitli kademelerde görevler yapan Ali Yılmaz; bir dönem DİSK Genel Sekreterliği görevini yürütmüştü. 1991 yılında Sarıyer SHP İlçe Başkanlığı yaptıktan sonra İl Teşkilatında da yöneticilik görevini yürütmüştü.