No final de 2018, a Amazon deixou de fazer contratações com base na IA porque constatou que o sistema discriminava as mulheres. De acordo com fontes relacionadas ao assunto, a ferramenta atribuía baixa pontuação para currículos em que apareciam os termos "mulher" ou "de mulher" em processos para preenchimento de vagas de funções técnicas, e chegou mesmo a desqualificar candidatas de duas faculdades só de mulheres.
O problema não é novo. Em 2003, o National Bureau of Economic Growth (NBER ) realizou uma experiência que visava rastrear a presença de parcialidade racial na contratação de pessoal. Para o teste, enviaram dois conjuntos de currículos fictícios com informações idênticas sobre educação e experiência. Um grupo de currículos tinha nomes que pareciam afro-americanos, e o outro, nomes caucasianos. Eles viram que os "candidatos" caucasianos receberam 50% mais chamados que seus homólogos afro-americanos, que nos faz perguntar novamente: Como podemos criar práticas de recrutamento mais justas e equitativas? Sistemas algorítmicos de recrutamento pareciam ser a resposta. Argumentava-se que retiram a parcialidade humana, porque suas determinações são baseadas em previsões estatísticas sobre as quais candidatos muito provavelmente se "encaixariam".
Contudo, essa solução não levou em conta como esses algoritmos de fato funcionam. No caso da Amazon, os algoritmos que impulsionam a ferramenta automatizada de recrutamento foram treinados para indicar candidatos fortes por meio da identificação de palavras-chave, em geral, utilizadas nos currículos dos funcionários com melhor desempenho da empresa. Isso parece lógico, mas é justamente onde a parcialidade se insinua. Não é possível treinar algoritmos para que entendam o contexto social. No caso de contratação de funcionários, a política do local de trabalho, em geral, tem a função de avaliar desempenhos. Por exemplo, alguns funcionários podem ser avaliados como sendo aqueles que têm o melhor desempenho, porque estão relacionados a um executivo sênior, têm mais tempo de serviço, ou fazem parte dos mesmos grupos sociais de seus gestores. Contudo, nada disso é captado nos formulários de avaliação que foram utilizados para decidir quais currículos seriam utilizados para treinar as ferramentas de recrutamento automatizadas. Os cientistas da computação simplesmente escolhem os currículos dos funcionários que têm os maiores índices de desempenho dentro de cada função. No entanto, esses currículos claramente não retratam o quadro total. E propagam o status-quo e as parcialidades inerentes que vêm junto.
É por essa razão que a cientista de dados, Cathy O'Neil, argumenta que os modelos estatísticos produzidos por sistemas algorítmicos de tomada de decisão são simplesmente opiniões transformadas em códigos. Ela argumenta que não devemos presumir que um conjunto de dados de treinamento esteja certo ou seja imparcial porque são codificados juntamente com as parcialidades daqueles que os produzem e que são, em sua maioria, homens e brancos. Isso é o que o acadêmico jurídico Rashida Robinson chama de dados contaminados.
Por que isso é tão perigoso? Porque as decisões tomadas utilizando dados contaminados são alimentadas de volta nos conjuntos de dados de treinamento, sendo, então, utilizadas para avaliar novas informações. Isso poderia criar um círculo vicioso de feedback, no qual decisões baseadas em parcialidades históricas continuam a ser tomadas em perpetuidade.
Como as empresas podem reduzir a parcialidade dos dados de treinamento
Um dos grupos que vem pensando sobre o impacto da parcialidade nos dados de treinamento é o de Presidentes para Fins Corporativos (CECP), uma coalizão de 200 CEOs das principais empresas mundiais. Em 2018, esse grupo publicou AI For Good: What CSR professionals should know artigo que defende que as equipes de responsabilidade social corporativa (CSR, na sigla em inglês) deveriam reunir dados sobre impacto social a partir de suas populações alvo para neutralizar as parcialidades que possam vir a ser expressas pelos sistemas de IA. Entretanto, alguns líderes industriais acham que essa abordagem não é suficiente. Em uma entrevista à CBS News, o CEO da Salesforce, Marc Benioff, preconizou uma lei nacional relativa a dados que pudesse melhorar a qualidade de dados de treinamento.
Essa é também uma abordagem que está sendo considerada pelo Congresso. Em junho, fiz parte de uma equipe que apresentou a Lei de Responsabilidade Algorítmica para a Assembleia de Deputados dos EUA, que obrigaria as empresas a auditar os sistemas de IA quanto à parcialidade antes de utilizá-los nos processos. Este é o primeiro passo na governança de sistemas de IA. Atualmente, os inputs nos sistemas de tomada de decisão algorítmica são protegidos por leis de propriedade intelectual, mas isso faria esse código ficar sujeito a uma análise como a que é utilizada pela FDA (órgão similar à ANVISA). Na falta de conhecimento sobre como é estabelecido o peso de inputs algorítmicos, somente podemos fazer inferências baseadas nos outputs, se os sistemas de IA estão expressando parcialidade racial e por quê. Por exemplo, o algoritmo COMPAS, que é utilizado amplamente no sistema penal de justiça dos EUA para avaliar índices de reincidência, demonstrou fornecer consistentemente aos réus negros penas mais longas do que as de seus pares brancos.
As regras propostas são intervenções úteis, mas não fornecem uma solução imediata ao problema de parcialidade relativo a IA. Há uma oportunidade aqui para empresas que buscam a vantagem de serem pioneiras para se diferenciar no mercado de trabalho, utilizando IA de maneira correta e precisa. Essas empresas poderiam contratar tecnólogos de interesse público vital — equipes formadas por cientistas de computação, sociólogos, antropólogos, juristas, e ativistas – para criar estratégias para desenvolver dados de treinamento mais justos e precisos. Essas equipes ficariam encarregadas da realização de pesquisas que possam ajudar a aconselhar os grupos de CSR sobre como fazer investimentos estratégicos com grupos que trabalham para reduzir a expressão de racismo, sexismo, discriminação contra os deficientes, homofobia e xenofobia em nossa sociedade. Isso reduziria essas parcialidades codificadas em conjuntos de dados utilizados em aprendizado de máquina e produziriam, em troca, sistemas de IA mais justos e precisos.
A redução de parcialidade em dados de treinamento irá requerer investimento sustentável, diversificado para a criação de uma sociedade mais justa. E as empresas que estão atualmente anunciando esses valores deveriam estar fazendo mais para dar suporte a eles.
Mutale Nkonde é diretora executiva da AI For the People, organização sem fins lucrativos que utiliza cultura popular para educar pessoas negras sobre as implicações da justiça social da utilização de tecnologias de IA. Nkonde é também membro do Berkman Klein Center for Internet and Society da Harvard Law School. Nkonde foi assessora para Políticas de IA e fez parte da equipe que implementou a Lei de Responsabilidade Algorítmica da Câmara de Deputados norte-americana, em junho de 2019.