1980-luvun lopulla, kun Neuvostoliitto laski kriisiin, Shevardnadze tuli yhä epäsuositummaksi ja oli ristiriidassa Neuvostoliiton kovankäyttäjien kanssa, jotka eivät pitäneet hänen uudistuksistaan ja pehmeästä linjastaan lännen kanssa. Hän kritisoi Neuvostoliiton joukkojen kampanjaa kansannousun tukahduttamiseksi.
Hänen kotimaassaan Georgiassa vuonna 1989. Shevardnadze erosi yhtäkkiä joulukuussa 1990 protestoidakseen Gorbatšovin johdolla kasvavasta kovankäyttäjien vaikutusvallasta sanoen, että "diktatuuri on tulossa". Muutamaa kuukautta myöhemmin hänen pelkonsa toteutuivat osittain, kun kommunistien epäonnistunut vallankaappaus kiihdytti Neuvostoliiton hajoamista. Shevardnadze palasi lyhyesti Neuvostoliiton ulkoministeriksi marraskuussa 1991, mutta erosi Gorbatšovin kanssa seuraavana kuussa, kun Neuvostoliitto virallisesti hajotettiin.