Cemiyet, "İttihad-ı Osmani" adıyla İstanbul Demirkapı’daki (bugünkü Sirkeci), Askeri Tıbbiye mektebinde kuruldu (3 Haziran 1889).
Kurucuları, Askeri Tıbbiye öğrencilerinden Ohrili İbrahim Temo, Arapgirli Abdullah Cevdet, Diyarbakırlı İshak Sukuti, Kafkasyalı Mehmet Reşid, Bakülü Hüseyinzade Ali’dir.
Cemiyet, çeşitli kişi ve kuruluşlarla münasebetleri sonucu, kısa zamanda ülke içinde ve dışında şubeler kurarak örgütlendi. Bu şubelerin en önemlisi Paris şubesiydi. Osmanlıca "Meşveret" ve Fransızca "Mechveret Supplement Françaiş” (Meşveret’in Fransızca eki) gazeteleriyle, yüksek öğrenim gençliği üzerinde etkin oldu. Cenevre şubesinin Mizan ve Osmanlı gazeteleri, Kahire şubesinin Kanun-ı Esasi ve Hak gazeteleri aynı görevi yerine getirerek, cemiyetin büyüyüp, yaygınlaşmasını sağladılar.
Ülke dışındaki Jön Türkler, sayıca fazla değildi. Aralarındaki fikir ayrılıkları, Sultan II. Abdülhamid’in bu rahatsız kitleyi kolaylıkla bölmesini sağladı. Sultanın ser hafiyesi Ahmed Celaleddin Paşa, Cenevre grubu lideri Mizancı Murad Bey’le anlaşarak İstanbul’a dönmesini sağladı. Aynı girişim 1899 yılında da tekrar edilerek, Ahmet Rıza Bey’in çevresi hemen hemen boşaltıldı. Bu sırada II. Abdülhamid’in eniştesi Damat Mahmud Paşa, iki oğlu Prens Sabahattin ve Lütfullah beylerle Paris’e kaçtı.
Bu sayede, biraz olsun maddi problemlerini halleden Jön Türkler, kişisel rekabetler yüzünden gelişen fikir ayrılıklarını bertaraf edemediler. Paris’teki 1902 Kongresi, Cemiyet’i ikiye böldü. Ahmet Roza Bey’in başkanlığında toplananlar "Terakki ve İttihad Cemiyeti"ni kurdular. İdeolojik çizgileri, Auguste Comte taraftarı ve pozitivizm yanlısıdır. Prens Sabahatin Bey’in başkanlığında toplananlarsa, "Teşebbüs-i Şahsi ve Adem-i Merkeziyet Cemiyeti”ni kurdular. İdeoloik çizgileri Le Play taraftarlığıdır.
Bu iki grup, aralarında bitmek bilmez mücadelelerle didişirken 1906 yılı Eylül ayında, Selanik’te, 3. Ordu subayları tarafından "Osmanlı Hürriyet Cemiyeti" kuruldu. Kurucuları: Bursalı Tahir Bey (Yarbay), Naki (Yücekök) Bey (Binbaşı), Edip Servet (Tor) Bey (Yüzbaşı), Kazım Nami (Duru) Bey (Yüzbaşı), Ömer Naci Bey (Yüzbaşı), İsmail Canbolat Bey (Yüzbaşı), Hakkı Baha Bey (Yüzbaşı), Mehmed Talat Bey (Posta ve Telgraf İdaresi Başkatibi), Rahmi Bey, Midhat Şükrü Bey.
Cemiyet, ordu içinde hızla yayıldı. Kısa sürede asker ve sivil üyeleri artarak, gizli, ihtilalci bir güç oldu. Gizlice Selanik’e gelen Ahmet Rıza Bey grubunun temsilcisi Dr. Nazım Bey birleşmeyi sağladı ve "Osmanlı Hürriyet Cemiyeti", "Terakki ve İttihad" adını aldı (27 Eylül 1907).
9 Haziran 1908 sabahı Reval’de bir araya gelen İngiltere Kralı VII. Edward ile Rus Çarı Nikola, Rumeli’nin paylaşılmasını görüştüler. Aralarında imzaladıkları Mürszteg Anlaşması’nı şereflerine hakaret sayan subaylar harekete geçerek, Rumeli’de II. Meşrutiyet’i ilan ettiler. (23 Temmuz 1908)
Sultan II. Abdülamid yenilgiyi kabul etmek zorunda kaldı. Böylece 3. Ordu yeni bir devir açtı. Selanik’ten İstanbul’a gelen İttihad ve Terakki (Merkez-i Umumi) üyeleri, fiili bir iktidar ve başvuru makamı oldu. 1908’de yapılan genel seçimi büyük bir ağırlıkla İttihad ve Terakki namzetleri kazandı. 1911 seçimlerinde Hürriyet ve İtilaf Fırkası’nın adayı bir oy farkla seçilince 1912 seçimleri İttihad ve Terakki baskısıyla yapıldı. Ezici bir çoğunlukla seçimin kazanılmasına rağmen Meclis feshedildi.
Halaskar Zabıtan hareketi ile kısa bir süre iktidarı terk eden İttihad ve Terakki, "Babıali Baskını" ile yeniden iktidarı elde etmiştir. 1914 genel seçimlerinden sonra, tek parti olarak, 1918 yılına kadar iktidarı sürdürdü. Bu tarihten sonra bütünlüğünü kaybetmeye başladı.
Cemiyet, 1908-1918 döneminde dokuz kongre yaptı. Genellikle Ağustos-Ekim aylarında toplanan kongrelerin ilki, 1908 yılında gizli olarak yapıldı. Yayınlanan 13 maddelik kararla Cemiyet’in fırkalaştığı ilan edildi. 1909 Kongresi’nde, Cemiyet’in siyasi hayattan çekildiği ve halkın yükseltilmesi için kulüplerin aracılığıyla çalışacağı açıklanmıştır. Bu kongre de gizli olarak Selanik’te yapıldı. 1910 Kongresi’nde muhalefetin suçlamaları cevaplandırıldı. 1911 Kongresi, tartışmalı geçti. Merkez-i Umumi üyelerinin sayısı yediden on ikiye yükseltildi.
1912 Kongresi’nde Cemiyet- Fırka ikiliği üzerinde duruldu. Bu kongre, İttihad ve Terakki’nin muhalefete geçtiği zaman, İstanbul’da yapıldı. 1913 Kongresi’nde Cemiyet iktidardadır ve muhalefeti susturmuştur. Bu kongrede, Cemiyet’in siyasi partiye dönüştüğü kesin olarak açıklandı.
İttihad ve Terakki I. Dünya Savaşı sebebiyle 1914 ve 1915 Kongrelerini yapamadı. 1916 Kongresi’nde İttihad ve Terakki, muhalefetsiz bir Meclisle ülkeyi yönetmektedir. Bu kongrede ideolojisini değiştirdi. Osmanlıcı niteliğini terk ederek, Türkçü ve milliyetçi görüşü savunmaya başladı. Siyasi programda yapılan değişiklikle dini ve şer’i mahkemeler birbirlerinden ayrıldı. Laiklik ilkesi kabul edildi. Milli iktisadı geliştirecek önlemler alınması kabul edildi. 1917 Kongresi’nde belirtilen gayelere doğru ilerlendiği vurgulandı.