As falhas do Grande Salto Adiante levaram seus pais a opor-se às políticas de Mao Tsé-Tung, embora não o criticassem diretamente. Eles tornaram-se alvos durante a Revolução Cultural, como a maioria dos altos funcionários. Quando o seu pai criticou Mao diretamente (usando o seu nome), Chang escreveu em Wild Swans que este foi retaliado pelos apoiantes de Mao Tsé-Tung. Os seus pais foram publicamente humilhados - tinta foi derramada sobre as suas cabeças, foram obrigados a usar placas denunciando-os em torno de seus pescoços, ajoelharam-se no cascalho e dormiraram à chuva -, seguidos de prisão. O pai foi internado para tratamento por doenças mentais. As suas carreiras foram destruídas, e a família forçada a abandonar o seu lar.