Täytä seuraava lause: Rifkind pyrki ensimmäistä kertaa parlamenttiin vuonna 1970 epäonnistuneesti Edinburgh Centralin vaalipiiriin. Hän tuli parlamenttiin helmikuussa 1974 pidetyissä vaaleissa edustamaan Edinburgh Pentlandsia Skotlannin konservatiivisen ja unionistisen puolueen puolesta. Vuoden 1975 johtajuusvaalien aikana hän tuki Edward Heathia ensimmäisellä kierroksella, mutta kun Heath vetäytyi, Rifkind äänesti Margaret Thatcheria. Thatcher nimitti Rifkindin Skotlannin asioista vastapuolen edustajaksi. Myöhemmin hän erosi asemastaan (sekä varjokabinetin sihteeri Alick Buchanan-Smith) protestoidakseen varjokabinetin päätöksestä äänestää hallituksen lakiehdotusta vastaan. Rifkind väitti, että koska konservatiivinen puolue tuolloin tuki Skotlannin parlamentin periaatetta, olisi ollut parempi joko äänestää lakiesityksen toisessa käsittelyssä tai pidättäytyä äänestämästä ja yrittää parantaa lakiesitystä. Seuraavaksi
Rifkind äänesti Skotlannin kansanäänestyksen puolesta, mutta perui tukensa, kun kansanäänestyksen tulos osoitti Skotlannin olevan lähes yhtä jakautunut ehdotukseen.