Konservatiivien häviön jälkeen vuoden 1974 vaaleissa - hänestä tuli Edward Heathin varjovaltiosihteeri Skotlannissa. Kun Margaret Thatcher nousi Heathin tilalle konservatiivien johtajana, The Glasgow Herald -lehti kertoi spekuloinnista, että Buchanan-Smith kuului ryhmään "pääkonservatiiveja", jotka saattaisivat kieltäytyä palvelemasta hänen alaisuudessaan. Lopulta hän pysyi virassa Thatcherin alaisuudessa, mutta erosi vuonna 1976 yhdessä hänen varjoministerinsä Malcolm Rifkindin kanssa, kun hän muutti konservatiivisen puolueen politiikkaa vastustamaan Skotlannin siirtämistä. Myöhemmin hän johti konservatiivien panosta Kyllä-kampanjaan Skotlannin vuonna 1979 järjestetyssä kansanäänestyksessä.
- Mitä?