Completa la frase següent: Rifkind es va presentar per primera vegada al Parlament, sense èxit, el 1970 a la circumscripció electoral d'Edimburg Central. Va entrar al Parlament en les eleccions generals de febrer de 1974 representant Edinburgh Pentlands pel Partit Conservador i Unionista d'Escòcia. Durant les eleccions de lideratge el 1975, va donar suport a Edward Heath en la primera ronda, però quan Heath es va retirar, Rifkind va votar per Margaret Thatcher. Thatcher, en convertir-se en líder, va nomenar a Rifkind portaveu de l'oposició en assumptes escocesos. Posteriorment va dimitir d'aquest càrrec (juntament amb el Secretari Escòtic de l'Ombra, Alick Buchanan-Smith) en protesta per la decisió del Gabinet de l'Ombra de votar en contra del projecte de llei del Govern per a una Assemblea Escòtica. Rifkind va argumentar que, com que, en aquell moment, el Partit Conservador va donar suport al principi d'una Assemblea Escocesa, hauria estat preferible votar per la segona lectura del projecte de llei o abstenir-se, i tractar de millorar el projecte de llei. En els següents
Rifkind va votar a favor, però va retirar el seu suport quan el resultat del referèndum va mostrar Escòcia gairebé igualment dividida sobre la proposta.