Kirsch pidätettiin 24. heinäkuuta 1933 Cottbusissa laittomasta poliittisesta toiminnasta. Hänet vietiin paikalliseen SA:n tiloihin ja hakattiin kepillä ja potkittiin saadakseen hänet tunnustamaan. Kaksi hyökkääjää tunnistettiin sodan jälkeen.
ja saivat pitkiä vankeusrangaistuksia.) Syytteet nostettiin 29. marraskuuta 1933 ja 10. huhtikuuta 1934 hän oli yksi 25 kommunistista Berliinistä, Cottbusista ja Forstista, joita Berliinin korkein oikeus tuomitsi. Kirsch sai kaksi vuotta ja yhdeksän kuukautta vankeutta. Hänet vietiin vankilaan Jauerin naisten vankilaan. Syyskuussa 1935 hän ja 45 muuta vankia syytettiin kapinan lietsomisesta, mutta syytökset hylättiin todisteiden puutteesta. Kirsch vapautettiin Jauerin vankilasta 12. toukokuuta 1936, mutta hänen oli ilmoitettava poliisiasemalle päivittäin yli vuoden ajan.