Kirjoita tämän kappaleen jatko - Rifkind pyrki ensimmäistä kertaa parlamenttiin epäonnistuneesti vuonna 1970 Edinburgh Centralin vaalipiiristä. Hän tuli parlamenttiin helmikuussa 1974 pidetyissä vaaleissa edustamaan Edinburgh Pentlandsia Skotlannin konservatiivisen ja unionistisen puolueen puolesta. Vuoden 1975 johtajuusvaalien aikana hän tuki Edward Heathia ensimmäisellä kierroksella, mutta kun Heath vetäytyi, Rifkind äänesti Margaret Thatcheria. Thatcher nimitti Rifkindin Skotlannin asioista vastapuolen edustajaksi. Myöhemmin hän erosi asemastaan (sekä varjokabinetin sihteeri Alick Buchanan-Smith) protestoidakseen varjokabinetin päätöksestä äänestää hallituksen lakiehdotusta vastaan. Rifkind väitti, että koska konservatiivinen puolue tuolloin tuki Skotlannin parlamentin periaatetta, olisi ollut parempi joko äänestää lakiesityksen toisessa käsittelyssä tai pidättäytyä äänestämästä ja yrittää parantaa lakiesitystä. Seuraavassa Skotlannin kansanäänestyksessä
, Rifkind äänesti puolesta, mutta perui tukensa, kun kansanäänestyksen tulokset osoittivat Skotlannin olevan lähes yhtä jakautunut ehdotukseen.