A engenheira de computação americana de origem ganense Joy Buolamwini percebeu num belo dia, quando estudava no MIT, que um robô no qual trabalhava não era capaz de reconhecer seu rosto. Meses depois, aconteceu o mesmo com um robô social que ela testou durante uma visita a Hong Kong. Quando colocava uma máscara branca, a coisa mudava.
Casualidade? Acontece que os dois sistemas tinham usado o mesmo software de reconhecimento facial baseado em machine learning. “Se seu rosto se desviar muito dos padrões que você deu ao sistema para que ele aprenda, ele não o detectará, como ocorreu comigo”, conta Buolamwini em uma palestra cujo vídeo no YouTube acumula mais de um milhão de visualizações. “Os algoritmos, assim como os vírus, podem propagar distorções em larga escala e em ritmo acelerado”, acrescenta. Esse tipo de erro é muito comum.
Sem ir mais longe, há alguns anos o Google etiquetou três jovens negras como gorilas. A pesquisadora decidiu agir: fundou a Algorithmic Justice League para denunciar os vieses dos algoritmos, servir de alto-falante para que as pessoas exponham casos de abuso e desenvolver códigos de boas práticas no desenvolvimento desses sistemas.
Na Europa também há organizações que monitoram os algoritmos. Duas das mais importantes foram fundadas por Lorena Jaume-Palasí. Formada em filosofia, essa espanhola de Maiorca se interessa há muito tempo pela dimensão ética da automação e digitalização. Ela é cofundadora da AlgorithmWatch, uma organização com sede em Berlim (onde reside) que analisa a ética dos processos algorítmicos. Recentemente, abandonou a ONG e fundou outra, The Ethical Tech Society, que se concentra na relevância social dos sistemas automáticos. “O debate que temos há anos sobre os sistemas algorítmicos se baseia mais no medo do que em riscos reais. Era preciso criar uma ONG que apresentasse posições normativas baseadas em fatos”, explica.