Há exemplos mais impressionantes. No condado de Allegheny (Pittsburgh, Pensilvânia), um algoritmo do Escritório de Crianças, Jovens e Famílias tenta prever o comportamento futuro dos pais para evitar abusos ou maus-tratos. Faz isso especulando o que é provável que os sujeitos analisados façam, com base nos patrões de comportamento que mostraram indivíduos similares no passado.
Todo isso a partir de dados públicos, o que por si só, como demonstra a autora, já é uma grande discriminação socioeconômica (nos EUA, quem recorre ao sistema público é quem não pode pagar o privado). Escola pública, departamento de habitação, serviço de apoio ao desempregado, polícia do condado... as pessoas que se relacionam com essas instituições são mais pobres do que ricas, sem dúvida. E nos EUA, os pobres são, na maioria, negros, latinos e membros de outras minorias étnicas.
As famílias ricas, explica Eubanks, também podem ser disfuncionais, mas o sistema do condado de Allegheny não reconheceria isso: as clínicas de desintoxicação e os psiquiatras, por exemplo, não estão dentro do sistema público e, portanto, não computam para o algoritmo. “É correto que o sistema castigue desproporcionalmente aos mais vulneráveis? Os mais ricos tolerariam que seus dados fossem usados desse modo? É claro que não”, afirma, indignada, a nova-iorquina. “Devemos refletir sobre o que estamos fazendo, o que diz de nós como sociedade automatizar a decisão sobre se os pais cuidam bem ou mal de seus filhos”, acrescenta.
“Nos níveis mais altos da economia, são os seres humanos que tomam as decisões, embora utilizem os computadores como ferramentas úteis. Mas nos níveis intermediários, e principalmente nos mais baixos, grande parte do trabalho é automatizada”, escreve O’Neil no livro Weapons of Math Destruction (“armas de destruição matemática”). Se, durante uma entrevista de emprego em um renomado escritório de advocacia, o nome de um candidato formado na Faculdade de Direito de Stanford aparecer no sistema associado a uma prisão pela criação de um laboratório de metanfetamina, o entrevistador vai dar risada, achando que a máquina se enganou, e continuará com a entrevista. Já se um algoritmo determinar que um pai não é suficientemente responsável, os riscos para ele não serão nem um pouco engraçados.
Para aqueles que vivem nos EUA, há algoritmos que os classificam como cidadãos solventes ou não em função das probabilidades de que devolvam um empréstimo, calculadas com base em seu histórico de crédito, nível de renda e outros dados. Sua pontuação determinará a taxa de juros que os bancos lhes oferecerão, o que no caso de uma hipoteca pode significar milhares de dólares de diferença ao ano. Isso pode afetar até mesmo suas oportunidades de trabalho, porque há empresas que não confiam em quem tem dívidas.
Os modelos sofisticados que decidem a qualificação de crédito das pessoas não são transparentes. “Essa ferramenta é decisiva demais no sucesso ou fracasso das pessoas para que funcione envolta em segredo”, afirma Frank Pasquale. Este jurista, professor de Direito na Universidade de Maryland, publicou em 2015 The Black Box Society ­− The Secret Algorithms that Controle Money and Information (“a sociedade da caixa-preta − os algoritmos secretos que controlam dinheiro e informação”), um livro que analisa a opacidade dos algoritmos que mais afetam nossa vida.
As informações vazadas por Edward Snowden demonstraram que a Agência de Segurança Nacional dos EUA usa dados de empresas como Google e Facebook para vigiar os cidadãos. E essas empresas, que desfrutam de uma posição quase monopolista no mercado, sabem quase tudo sobre nós. “Talvez não sejamos capazes de frear a coleta de dados sobre nós mesmos, mas podemos regular como eles são usados”, ressalta Pasquale. “Existem empresas que fazem um certo perfil das pessoas e com base nele estruturam oportunidades para cada indivíduo. Por exemplo, sabemos que há certos produtos imobiliários, financeiros ou médicos que são oferecidos às pessoas mais vulneráveis com mensagens às vezes fraudulentas”, explica.