Expresso | O lado obscuro dos "Big Data"
O lado obscuro dos "Big Data"
PRECONCEITOS Os algoritmos não são apenas "coisas" de Wall Street. Também servem interesses e mantêm pobres os pobres e fazem dos ricos mais ricos, diz Cathy O'Neil, matemática de Harvard.
Os algoritmos não são matemática pura. Também servem interesses e alimentam preconceitos. Um livro sobre a vida secreta dos "grandes dados"
Nesta era dos 'big data', das quantidades massivas de informação e de dados, os algoritmos são reis. Fazem parte de todos os recantos da nossa vida, mesmo que não os vejamos. Insinuam-se de mansinho, como se fosse naturais. Aqui, do lado direito do ecrã do nosso computador, um anúncio do Booking com aquele hotel 5 estrelas que, por acaso, até fica mesmo naquele sítio sobre o qual andamos a pesquisar, até parece que adivinharam; ali, as sugestões da Amazon, que nos enchem mesmo as medidas e, olha, também parece que adivinham; acolá, uma proposta do nosso banco, mesmo à medida das nossas necessidades, que este cartão de crédito até nos dá tanto jeito e, caramba, não é que adivinharam outra vez?
Os modelos quantitativos e os algoritmos que estão na base desta "adivinhação" constante e sucessiva que nos é oferecido, contudo, podem ser tudo menos inocentes. Quem o diz é Cathy O'Neil, matemática e académica de Harvard, que se transformou em cientista de dados e em "quant" de Wall Street entre 2007 e 2011, engrossando a fileira de programadores, matemáticos e engenheiros que forjaram um sistema montado sobre modelos matemáticos que construíram produtos financeiros, que trabalham a velocidades estonteantes e à medida dos investidores. Sabemos, como a história acaba. E O'Neil presenciou-o com os seus próprios olhos.
Estava lá, no centro do furação, quando a crise de 'subprime' norte-americana, quando os empréstimos hipotecários de alto risco rebentaram nas mãos de milhões de norte-americanos. O'Neil estava lá e percebeu que, na verdade, os 'big data' e os algoritmos não são assim tão inocentes. Por um lado, estão muito além da movimentada Wall Street e afetam muito mais pessoas; por outro lado, apesar da natureza matemática, que lhes deveria conferir um caráter de justiça plena, são muitas vezes montados sobre lógicas que trazem consigo preconceitos e visões tendenciosas que promovem desigualdades entre os cidadãos e colocam em causa, até, a democracia. Muitos dos algoritmos respondem a interesses, mais do que à matemática pura.
Cathy O'Neil provou do fel dos 'big data' e de 'quant' passou a dinamizadora do movimento Occupy Wall Street, que ocupou a praça financeira em setembro de 2011 e que virou as atenções para as desigualdades económicas e sociais no mundo. Desigualdades essas que, de acordo com a académica de Harvard e autora deste livro, são agravadas pelos algoritmos, que mantêm os pobres pobres e os ricos ricos. O'Neil considera que, por abrangerem geralmente um alargado conjunto de pessoas, têm um capacidade destruidora absoluta. São, por isso, "armas de destruição matemática": importantes, secretos e destrutivos, afirma.
Existem em Wall Street, no sector bancário, no mundo imobiliário, mas também no sistema educativo, nos programas de segurança e vigilância, por exemplo. Reforçam, por exemplo, o racismo e colocam em desvantagem os mais vulneráveis — já que permitem, por exemplo, que companhias de crédito "predadoras" comuniquem diretamente com as camadas de populações com menos capacidade económica. E esta lógica replica-se, por exemplo, nos rankings do ensino, em processos de recrutamento, etc. Protegendo os brancos e os mais ricos e castigando as minorias e os mais vulneráveis.
A autora faz uso das estatísticas para provar a sua teoria. No estado da Florida, por exemplo, os adultos com cadastro limpo e um historial de crédito baixo pagam, em média, mais 1552 dólares de juros nos empréstimos do que condutores com episódios de alcoolismo no seu cadastro mas um historial de contas bancárias altas. Os algoritmos podem ser tudo menos justos. E, por estarem numa esfera que não acessível a todos, não podem ser contraditos. Aconteceu a uma professora, vista pelos seus pares e alunos como extremamente dedicada e exemplar, mas que foi despedida depois de ter obtido uma avaliação baixa num programa de avaliação online; aconteceu a um estudante que não conseguiu ficar com um emprego de salário mínimo, num supermercado, por causa das suas respostas num teste de personalidades; aconteceu a muitas pessoas que viram os seus limites do cartão de crédito baixarem por fazerem compras em determinadas lojas.
Os algoritmos estimulam a injustiça e perpetuam situações de desfavorecimento, em loop. Como aqueles que estão na base de programas de policiamento e vigilância e que enviam patrulhas para determinadas localizações, de acordo com os dados que existem sobre os crimes que ocorrem no local. Assim, é mais provável que estes polícias abordem mais negros do que brancos. Além disso, um homem que seja considerado de "alto risco" provavelmente será desempregado e provém de um bairro onde muitos dos seus amigos e família já tiveram "encontros" e episódios com forças policiais. "Graças, em parte, à elevada pontuação determinada pelos dados, ele será sentenciado a uma pena mais elevada, será encarcerado durante mais anos numa prisão onde estará rodeada por criminais — o que aumentará a probabilidade de ele regressar à prisão. Quando for finalmente libertado, regressará ao mesmo bairro pobre, mas desta vez com cadastro, o que lhe tornará mais difícil a missão de encontrar trabalho. Se cometer outro crime, este modelo de reincidência poderá reclamar o seu sucesso. Na verdade, contribuiu ele próprio para o ciclo tóxico e ajuda a mantê-lo", escreve O'Neil.
"Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy", Cathy O'Neil, Crown, 259 páginas, €11 (preço na Amazon)
A autora e investigadora fundou recentemente a uma auditora de algoritmos, que procura asseverar da justiça que está por detrás dos números. No último capítulo do livro, Cathy O'Neil propõe um juramento de Hipócrates para os cientistas de dados e deixa algumas propostas para regular os modelos matemáticos e os seus efeitos mais obscuros. Porque até a Matemática está longe de ser inofensiva.