Holanda. Relatório expõe como um "algoritmo xenófobo" influenciou a atribuição de apoios sociais às famílias
Um relatório da Amnistia Internacional vem acusar o Governo holandês de discriminação racial e étnica, ao expor a forma como a caracterização racial foi introduzida como um parâmetro de um sistema algorítmico que determinava se os pedidos de subsídio de cuidados infantis eram incorretos ou fraudulentos. De acordo com o relatório, dezenas de milhares de pais e de prestadores de cuidados de famílias nos Países Baixos, maioritariamente imigrantes, foram falsamente acusados de fraude pelas autoridades fiscais holandesas como resultado do "algoritmo xenófobo".
O escândalo relacionado com os apoios sociais às famílias, na Holanda, estalou em dezembro de 2020, quando um relatório de uma comissão de inquérito parlamentar concluiu que milhares de famílias, maioritariamente imigrantes, foram falsamente acusadas de fraude, tendo, como consequência, perdido o acesso aos abonos. A vinda a público desta informação levou à demissão em bloco do Governo holandês em janeiro de 2021, a dois meses das eleições legislativas.
Agora, um relatório da Amnistia Internacional vem revelar, de forma detalhada, como 26 mil famílias, maioritariamente de imigrantes turcos e marroquinos, ficaram injustamente sem acesso ao subsídio do Estado que lhes permitia manter os filhos com menos de 12 anos em creches ou estabelecimentos de ensino.
Em causa está um modelo de classificação de risco, implementado em 2013 pelas autoridades tributárias holandesas, que utilizava um algoritmo para determinar se os pedidos de subsídio de cuidados infantis foram assinalados como incorretos e potencialmente fraudulentos. O relatório, intitulado "Xenophobic Machines", foca um parâmetro em particular na classificação de risco: a nacionalidade. As autoridades tributárias utilizaram informações sobre a nacionalidade dos requerentes como fator de risco. Como consequência, os requerentes não holandeses receberam pontuações de risco mais elevadas.
Os pais e cuidadores que foram selecionados pelo sistema tiveram os seus subsídios suspensos e foram submetidos a investigações hostis, caraterizadas por regras e políticas severas, interpretações rígidas das leis e políticas implacáveis de recuperação dos subsídios. Entre 2013 e 2019, estima-se que 26 mil famílias tenham sido lesadas por este algoritmo, o que conduziu a problemas financeiros, desde endividamento e desemprego até despejos forçados, dado que as pessoas não conseguiram pagar a sua renda ou as prestações das suas hipotecas. De acordo com o Dutch News, mais de 1100 crianças cujos pais foram alvo do algoritmo foram colocadas em instituições entre 2015 e 2020.
"Milhares de vidas foram arruinadas por um processo vergonhoso que incluiu um algoritmo xenófobo baseado na caracterização racial. As autoridades holandesas correm o risco de repetir esses erros catastróficos, pois ainda não existem proteções de direitos humanos no uso de sistemas algorítmicos", disse Merel Koning, responsável pela tecnologia e direitos humanos na Amnistia Internacional.
Como funcionava o algoritmo?
O modelo de classificação de risco utilizado era um sistema de "black box" que incluía um algoritmo de autoaprendizagem. Os sistemas de "black box" são sistemas algorítmicos cuja estrutura interna e funcionamento são desconhecidos para os usuários.
O algoritmo adaptava-se com base na experiência, sem supervisão humana significativa – sendo, por isso, denominado de mecanismo de autoaprendizagem. O resultado foi um ciclo discriminatório, com os cidadãos não holandeses a serem mais frequentemente assinalados como suspeitos de terem cometido alguma fraude do que as pessoas com nacionalidade holandesa.
Cada vez que um indivíduo era assinalado como "risco de fraude", era solicitado a um funcionário público que efetuasse uma revisão manual. O funcionário tinha o poder de rotular um pedido como fraudulento, apesar de não lhe ser dada qualquer informação sobre o motivo pelo qual o sistema tinha gerado uma avaliação de risco superior.
"O facto de as autoridades fiscais usarem um sistema de 'black box' e um algoritmo de autoaprendizagem impedia a responsabilidade e a transparência e era incompatível com os princípios de boa governança, legalidade e Estado de direito", lê-se no relatório.
Amnistia deixa apelos
Embora o escândalo tenha derrubado o Governo holandês em janeiro, não foram retiradas lições suficientes. Tal como sublinha o relatório da Amnistia Internacional, apesar de o Governo holandês desaprovar publicamente a caracterização racial, ele continua a permitir o uso de fatores de risco de discriminação étnica e outros fatores proibidos como base para a aplicação da lei.
"O escândalo dos apoios sociais às famílias demonstra a necessidade urgente de os Estados, bem como órgãos internacionais, regionais e supranacionais, adotarem regras e padrões vinculativos a fim de articularem as obrigações e responsabilidades de respeitar, proteger e defender os direitos humanos na conceção e uso de sistemas algorítmicos de tomadas de decisão", sublinha o relatório.
A Amnistia Internacional apela, por isso, aos Governos a que "evitem violações dos direitos humanos relativamente ao uso de sistemas algorítmicos; estabeleçam mecanismos de monitorização e supervisão como medida de segurança; responsabilizem os responsáveis pelas infrações e forneçam soluções eficazes para os indivíduos e grupos cujos direitos foram infringidos".
Holanda , Amnistia Internacional , Algoritmo , Xenofobia , Discriminação
`), playlistUrl: 'https://www.rtp.pt/noticias/rc/playlist/homepage_highlights/article/1358439', paged: false, playlistItemTemplate: $('#articles_playlist_item_template'), canvasItemsContainer: $('#articles-container'), canvasItemInViewCallback: function (item) { // do stuff when a item gets in view ( analytics, etc ) // Adicionar HIT ao gemius /* pp_gemius_extraparameters[0] = ($(item[0]).attr('data-playlist-item-gemius')) ? 'nada' : $(item[0]).attr('data-playlist-item-gemius'); pp_gemius_extraparameters[0] = ($(item[0]).attr('data-playlist-item-url')) ? 'nada' : $(item[0]).attr('data-playlist-item-url'); */ //console.log ($(item[0])); //pp_gemius_hit (pp_gemius_identifier, "aa"+pp_gemius_extraparameters[0]); //console.log(itemId) }, canvasItemBeforeLoadCallback: function (item) { $('.st-custom-button').removeClass("st-custom-button"); }, canvasItemAfterLoadCallback: function (item) { // do stuff when a item gets loaded from ajax // News Pilot Recommendation Load if (typeof NewsPilotRecoLoaded != "undefined" && typeof NewsPilotRecoLoaded === "function") { NewsPilotRecoLoaded(); } // Print article $('#print_me_'+itemId).click(function(){ $('#article_content_'+itemId).printThis(); }); // View more button maxHeightToHide = 250; setTimeout(function () { if ($(item).find('.hidden-content').size() > 0 && $(item).find('.hidden-content')[0].scrollHeight <= maxHeightToHide ) { $(item).find('.hidden-content').css('max-height' , '90000px'); $(item).find('.hidden-content-mask').hide(); } }, 500); $(item).find('.hidden-content .hidden-content-btn').click(function(e){ e.preventDefault(); $(e.target).parent().parent().css('max-height' , '90000px'); $(e.target).parent().hide(); }); $(item).find("time.timeago").humanDate(); if ((typeof variable !== 'undefined') && __sharethis__ && __sharethis__.config) { __sharethis__.init(__sharethis__.config); } if (typeof RTPPub != "undefined") { // Refresh right bar pub rightBarPubElement = $(".mrec_noticias_infinito-container-ads")[0]; rightBarPubElementShouldRefresh = $(rightBarPubElement).data('refresh-pub'); // On first load wait 20 seconds to enable the next refresh if ( rightBarPubElementShouldRefresh == null ) { rightBarPubElementShouldRefresh = true; setTimeout(function(){ $(rightBarPubElement).data('refresh-pub', true); }, 20000); } // Whenever ready for refresh, do a pub refresh and wait 20s if (rightBarPubElement && rightBarPubElementShouldRefresh == true){ $(rightBarPubElement).data('refresh-pub', false); RTPPub.adRefreshSlot($(".mrec_noticias_infinito-container-ads")[0].id); setTimeout(function(){ $(rightBarPubElement).data('refresh-pub', true); }, 20000); } // Add pub between articles ad_slot = "separador_noticias_2"; if ($('#articles-container').data('last_inter_article_pub') == 'separador_noticias_2') { ad_slot = "separador_noticias_1"; } pub_div_id = ad_slot + "_" + item.attr('id'); $(item).css('padding-bottom', '0px'); item.append('