喺1948年,佢廿歲時加入佐治亞共產黨 (GCP) 同蘇聯共產黨 (CPSU). 佢慢慢喺喬治亞國民黨 (Komsomol) 升職,喺第二個秘書任期之後,成為第一秘書. 喺佢擔任俄羅斯共產黨第一書記嗰時 舍瓦爾德納茲第一次見到米哈伊爾·戈爾巴切夫 舍瓦爾納茲話 尼基塔·赫魯曉夫喺第20次中共大會上發表演講之後 佢對蘇聯政治制度失望 同好多蘇聯人一樣 喬塞夫 斯大林犯下的罪行令謝瓦納茲 感到恐懼 蘇聯政府對喬治亞 1956 年示威運動嘅反應
令佢更加震驚 佢喺1961年被喬治亞共產黨政治局降職, 因為佢冒犯咗一個高官.