Рудольф II быў малодшым сынам германскага караля Рудольфа I. У 1282 г. ён разам са сваім старэйшым братам Альбрэхтам I стаў герцагам Аўстрыі і Штырыі, паклаўшы такім чынам пачатак кіраванню Габсбургаў у гэтых дзяржавах.