Gummer oli Edward Heathin hallituksessa maatalousministerin yksityissihteeri, ennen kuin hänet nimitettiin konservatiivisen puolueen varapuheenjohtajaksi. Hän toimi virassaan hallituksen kaatumiseen asti vuonna 1974. Palattuaan edustajainhuoneeseen 1979 vaaleissa hän toimi useissa hallituksen virkoissa ja oli konservatiivisen puolueen puheenjohtaja vuosina 1983-1985.
konservatiivipuolueen konferenssissa vuonna 1984. Hän liittyi hallitukseen vuonna 1989 maatalous-, kalastus- ja elintarvikeministeriön ministeriönä ja siirtyi John Majorin alaisuudessa ympäristöasioiden valtiosihteeriksi vuonna 1993.