China usa inteligência artificial para identificar minoria
Uma demonstração da tecnologia de reconhecimento facial da empresa de inteligência artificial SenseTime em Shanghai, 17 de abril. Em um grande passo tecnológico com repercussões éticas, startups chinesas criaram algoritmos que o governo usa para rastrear membros de um grupo minoritário muçulmano, o primeiro exemplo conhecido de um governo usando inteligência artificial intencionalmente para perfil racial, especialistas disseram| Foto: Gilles Sabrié/The New York Times
O governo chinês já gerou críticas pesadas do mundo inteiro pela severa repressão praticada contra os muçulmanos étnicos de sua região ocidental, inclusive mantendo pelo menos um milhão deles em campos de concentração.
Agora, documentos e entrevistas revelam que as autoridades também estão usando um sistema amplo e secreto de tecnologia de reconhecimento facial avançada para monitorar e controlar os uigures. Segundo os especialistas, é o primeiro exemplo conhecido de um governo que lança mão da IA para fazer um perfil racial.
O reconhecimento facial, integrado à rede cada vez maior de câmeras de vigilância daquele país, mira exclusivamente os uigures, com base em sua aparência, e mantém um registro de suas idas e vindas para busca e referência. A prática faz com que a China seja pioneira na aplicação da tecnologia de ponta para vigiar seu povo, com todo o potencial para dar início a uma era de racismo automatizado.
Imensa rede de vigilância
O método tecnológico utilizado pelos chineses para controlar onze milhões de uigures foi descrito por cinco pessoas com conhecimento direto dos sistemas, e que pediram anonimato por medo de retaliação. O "The New York Times" também analisou as bases de dados utilizadas pela polícia, documentos oficiais e material publicitário distribuído por empresas de IA que produzem os sistemas.
As autoridades chinesas já mantêm uma imensa rede de vigilância, inclusive para monitorar o DNA de seus cidadãos, na região de Xinjiang, onde vivem muitos uigures, mas o alcance dos novos sistemas, que nunca tinha sido revelado, já estende essa supervisão para muitas outras partes do país.
Segundo dois dos cinco conhecedores do esquema, a polícia está usando reconhecimento facial para localizar uigures nas cidades ricas da costa leste, como Hangzhou e Wenzhou, e na província de Fujian. A polícia da cidade de Sanmenxia, às margens do Rio Amarelo, operam um sistema que, ao longo de um mês, foi usado 500 mil vezes para verificação da etnia dos moradores.
China prende muçulmanos em campos de concentração
Documentos da polícia mostram que a demanda para essas capacidades está aumentando: quase 24 departamentos em 16 províncias e regiões do país se interessaram pela tecnologia no início de 2018. A província central de Shaanxi, por exemplo, queria adquirir um sistema de câmeras que "fizesse o reconhecimento de atributos físicos uigures".
Alguns desses departamentos e empresas de tecnologia descrevem a prática como "identificação das minorias", embora três das cinco pessoas conhecedoras do caso garantam que a denominação não passa de eufemismo para descrever uma ferramenta de reconhecimento exclusivamente uigur – etnia que difere da população han, majoritária, sendo mais próxima dos povos da Ásia Central. Essas distinções seriam mais identificáveis pelo software.
Tecnologia para o autoritarismo
Durante décadas, as democracias tiveram praticamente o monopólio das tecnologias de ponta; hoje, entretanto, a nova geração de startups que suprem as necessidades autoritárias de Pequim está começando a dar o tom das tecnologias emergentes, como a inteligência artificial. Ferramentas semelhantes poderiam automatizar o preconceito, baseadas na cor da pele e na etnia, em outras partes do mundo.
"No que se refere à aplicação mais radical dessa tecnologia, sem dúvida sempre haverá alguém disposto a se arriscar. Se você criar uma tecnologia que consiga classificar as pessoas pela etnia, certamente alguém vai querer usá-la para fins repressivos", afirma Clare Garvie, membro do Centro para Privacidade e Tecnologia da Faculdade de Direito Georgetown, em Washington.
Do ponto de vista técnico, usar algoritmos para classificar as pessoas com base em raça ou etnia se tornou relativamente fácil. Empresas como a IBM anunciam softwares que podem categorizar as pessoas em grandes grupos, mas a China inovou identificando um grupo étnico específico com propósito controlador. A startup chinesa CloudWalk, por exemplo, já se entrega no exemplo que usa para anunciar seus sistemas de vigilância. "A tecnologia tem capacidade de reconhecer grupos suscetíveis", diz.
"Digamos que um uigur vive no bairro; se, em vinte dias, outros seis aparecerem por ali, o sistema automaticamente avisa a polícia", explica em seu site.
Na prática, segundo dois dos cinco conhecedores, os sistemas são imperfeitos porque sua precisão depende de fatores ambientais como iluminação e posicionamento das câmeras.
Arquitetura chinesa de controle racial
Já nos EUA e na Europa, o debate na comunidade de IA se concentra no preconceito inconsciente de quem cria a tecnologia. Testes recentes mostraram que os sistemas de reconhecimento facial produzidos por empresas como IBM e Amazon são menos precisos na identificação das feições de pessoas de pele mais escura.
A iniciativa chinesa levanta questões mais gritantes. Embora o reconhecimento facial use aspectos como o tom da pele e a forma do rosto para classificar imagens em fotos e vídeos, ele tem de ser alimentado por seres humanos, que classificam as pessoas baseados em definições sociais de raça ou etnia. A polícia chinesa, com a ajuda das startups, fez exatamente isso.
Entre as companhias de IA chinesas que aí se incluem estão Yitu, Megvii, SenseTime e CloudWalk, cada uma avaliada em mais de US$ 1 bilhão. De fato, seu valor disparou em 2018, quando o Ministério da Segurança Pública reservou bilhões de dólares, sob dois planos públicos chamados Skynet e Sharp Eyes, para automatizar a vigilância, o policiamento e a coleta de dados.
Em nota, a porta-voz da SenseTime afirmou ter falado com "equipes relevantes", que afirmaram não ter conhecimento da tecnologia sendo usada para fazer esse tipo de identificação racial. Já a Megvii disse estar concentrada em soluções comerciais, e não políticas. "Estamos preocupados com o bem-estar e a segurança dos cidadãos, e não com o monitoramento de grupos", define. CloudWalk e Yitu não responderam aos nossos pedidos de comentário.
No entanto, elas têm participação na arquitetura chinesa de controle social. Para fazer os algoritmos funcionarem, a polícia reuniu bases de dados de imagens de rostos de pessoas com ficha criminal, doenças mentais, registros de uso de entorpecentes e aqueles que acionaram o governo com exigências. A base de dados nacional de criminosos foragidos inclui 300 mil rostos, enquanto a lista de pessoas com histórico de uso de drogas na cidade de Wenzhou, por exemplo, totaliza oito mil.
"Campos de reeducação"
A China cita a violência étnica em Xinjiang e os ataques terroristas uigures em outros locais para justificar o grande volume de recursos que dedica ao monitoramento de membros daquela etnia. E é por isso também que Pequim jogou milhares deles nos chamados "campos de reeducação".
O software reforça a capacidade estatal de identificar os uigures no resto do país. Uma base de dados nacional armazena os rostos de todos os membros da etnia que saem de Xinjiang, por exemplo.
Documentos oficiais de aquisição dos últimos dois anos mostram que a demanda cresceu: em Yongzhou, na província de Hunan, a polícia estava em busca de um software para "caracterizar e definir se a pessoa é ou não uigur".
Em dois condados de Guizhou, o polícia mencionou a necessidade de "identificação de uigures", sendo que, em um dos casos, o pedido foi bem específico: uma precisão superior a 97 por cento. Em Chongqing e na região do Tibete os pedidos foram semelhantes, e um documento de compra de Hebei ressalta que a polícia deve ser avisada quando vários uigures fizerem reserva para o mesmo voo no mesmo dia.
Uma base de dados da Yitu mostra que a polícia de Sanmenxia usou o software nas câmeras para tentar identificar os moradores mais de 500 mil vezes do início de fevereiro ao começo de março; dessas identificações, o programa confirmou a presença uigur 2.834 vezes. As imagens, que ficam armazenadas, permitem aos policiais reconfirmar a informação.
A meta da Yitu e suas concorrentes é a de expansão internacional. "Com a estratégia certa, isso poderia facilmente colocar um software de identificação étnica nas mãos de outros governos", afirma Jonathan Frankle, pesquisador do MIT.
"Não acho exagero tratar a questão como uma ameaça existencial à democracia. Uma vez que o país adota um modelo extremamente autoritário, passa a usar dados para reforçar pensamentos e regras de uma forma muito mais arraigada do que seria possível há 70 anos na União Soviética, por exemplo. Nesse aspecto, essa é uma crise urgente, na qual estamos entrando lentamente, como sonâmbulos", constata.