Programa de recrutamento da Amazon estava identificando palavras como "mulheres" ou "feminino" para excluir currículos
O machismo no ambiente de trabalho existe há anos, e embora as coisas estejam mudando, ainda não é possível dizer que esse problema ficou para trás. Porém, as coisas parecem ser ainda pior quando esse tipo de preconceito vem não de pessoas, mas de Inteligência Artificial. A Amazon atualmente precisou apagar um projeto interno que utilizava uma otimização de IA machista para vetar currículos de mulheres com base nos seus dados.
Vetando as mulheres
Software identificava currículos com a palavra "mulheres" para vetá-los
O sistema de inteligência artificial geralmente estuda e analisa todos os componentes de um currículo, principalmente o histórico do candidato ou candidata. Nesse caso, o preconceito estava no fato do programa simplesmente descartar candidatas que tenham estudado em instituições exclusivas para mulheres, já que nos Estados Unidos é comum que se tenha escolas só para meninas ou escolas só para meninos.
Ele também descartava atividades que tinham o nome "Women" (mulheres) como por exemplo um "Women's chess club" (clube de xadrez feminino).
Segundo relatos obtidos pelo Reuters, o time que criou essa otimização de IA machista tinha como objetivo aumentar a velocidade do processo de seleção desses currículos. Uma fonte afirmou que eles realmente queriam que esse fosse o tipo de programa onde poderiam mostrar 100 currículos, ele selecionaria os 5 melhores e esses seriam contratados.
Remoção da IA machista
A Amazon não demorou a perceber que esse software não estava produzindo resultados com igualdade de gênero e foi rápida em tentar eliminar esse algoritmo. Porém, por não ter certeza se não poderia existir outros algoritmos preconceituosos para eliminar candidatas mulheres do processo, a Amazon apenas decidiu descartar o projeto como um todo.
Segundo o Reuters, o projeto ainda estava na fase experimental, mas não é possível dizer ao certo se ele já tinha sido utilizado na prática para vetar candidatas para trabalhos na Amazon realmente ou não, mesmo sendo parte de um teste.
Alguns tipos de inteligência artificial podem agravar o preconceito
Não dá para negar que o recurso de inteligência artificial vem ganhando cada vez mais espaço e sendo utilizado em diversos contextos, e exatamente por isso os pesquisadores sempre estão alertando para o perigo disso se tornar exclusivo para alguns grupos. Preconceito a respeito de gênero e até raça pode ser facilmente englobado em uma série de programas de inteligência artificial, principalmente os que se baseiam em reconhecimento facial para seleções.
Muitas empresas dizem preferir confiar mais na análise de computadores com IA do que em recrutadores humanos, visto que máquinas não vem naturalmente com preconceito e pessoas sim. Porém é preciso ficar atento em quem programa essas máquinas, afinal de contas são os humanos que ajustam seus algoritmos, como foi o caso do software da Amazon. A empresa agora pretende ter uma conversa com o seu time responsável pelas ferramentas IA para seleção de candidatos, dessa vez com o foco em diversidade, evitando quaisquer tipo de preconceitos ou a repetição de uma IA machista.