Rugova s-a născut în 2 decembrie 1944, fiind fiul unui negustor executat după al doilea război mondial de comuniştii iugoslavi veniţi la putere. El a absolvit Facultatea de Filozofie de la Universitatea din Pristina în 1971.
Rugova, 2. Dünya Savaşı sonrasında ilerlemekte olan Yugoslav Komünistler tarafından infaz edilen bir esnafın oğlu olarak 2 Aralık 1944'te dünyaya geldi. 1971 yılında Priştine Üniversitesi Felsefe Fakültesinden mezun oldu.