След поражението на консерваторите на общите избори през февруари 1974 г. става държавен секретар в сянка за Шотландия при Едуард Хит. Когато Маргарет Тачър наследява Хит като лидер на Консервативната партия, "Глазгоу Хералд" съобщава, че Бюканън-Смит е един от групата "най-добрите тористи", които може да откажат да служат под нея. В крайна сметка той остава на поста при Тачър, но подава оставка през 1976 г., заедно със своя младши сянков министър Малкълм Рифкинд, когато тя променя политиката на Консервативната партия, за да се противопостави на децентрализацията на Шотландия. Впоследствие, той води консервативния принос към кампанията "Да" в
Референдум за децентрализация на властта в Шотландия през 1979.