Durante la fine degli anni '80, mentre l'Unione Sovietica entrava in crisi, Shevardnadze divenne sempre più impopolare ed era in conflitto con i radicali sovietici che non apprezzavano le sue riforme e la sua linea morbida con l'Occidente. Ha criticato una campagna delle truppe sovietiche per reprimere una rivolta
nella sua Georgia natale nel 1989. In segno di protesta contro la crescente influenza degli estremisti sotto Gorbaciov, Shevardnadze si dimise improvvisamente nel dicembre 1990, dicendo: "La dittatura sta arrivando". Alcuni mesi dopo, le sue paure si sono parzialmente realizzate quando un fallito colpo di stato da parte dei comunisti di linea dura ha accelerato il crollo dell'Unione Sovietica. Shevardnadze tornò brevemente come ministro degli Esteri sovietico nel novembre 1991, ma si dimise con Gorbaciov il mese successivo, quando l'Unione Sovietica fu formalmente sciolta.