Mas o processo de aquisição de software raramente é transparente e, portanto, carece de responsabilidade.  As agências públicas geralmente compram ferramentas automatizadas de tomada de decisão diretamente de fornecedores privados.  O resultado é que, quando os sistemas dão errado, os indivíduos afetados — e seus advogados — ficam no escuro.  “Eles não comunicam em lugar nenhum”, diz Julia Simon-Mishel, advogada da Philadelphia Legal Assistance.  “Frequentemente, não está escrito em nenhum tipo de guia ou manual de política. Estamos em desvantagem”.
A falta de verificação pública também torna os sistemas mais sujeitos a erros.  Uma das avarias mais flagrantes aconteceu em Michigan em 2013. Após um grande esforço para automatizar o sistema de benefícios de desemprego do estado, o algoritmo  sinalizou incorretamente mais de 34.000 pessoas por fraude .  “Isso causou uma enorme perda de benefícios”,  diz  Simon-Mishel.  “Houve falências;  infelizmente houve suicídios.  Foi uma bagunça completa”.
Indivíduos de baixa renda são os que mais sofrem as consequências por essas mudanças em direção aos algoritmos.  Eles são as pessoas mais vulneráveis ​​a dificuldades econômicas temporárias que são codificadas em relatórios de consumidores e aquelas que precisam e buscam benefícios públicos.  Ao longo dos anos, Gilman viu cada vez mais casos em que os clientes correm o risco de entrar em um ciclo vicioso.  “Uma pessoa percorre tantos sistemas no dia a dia”, diz ela.  “Quero dizer, todos nós fazemos.  Mas as consequências disso são muito  mais duras  para os pobres e as minorias”.
Ela cita um caso atual em seu escritório como exemplo.  Um membro da família perdeu o trabalho por causa da pandemia e foi negado o seguro-desemprego por causa de uma falha no sistema automatizado.  A família então atrasou o pagamento do aluguel, o que levou o locador a processá-los para despejá-los.  Embora o despejo não seja legal por causa da  moratória do CDC , o processo ainda será fichado em registros públicos.  Esses registros poderiam, então, alimentar algoritmos de triagem de inquilinos, o que tornaria mais difícil para a família encontrar uma moradia estável no futuro.  O não pagamento do aluguel e dos serviços públicos também pode ser um problema em sua pontuação de crédito, o que mais uma vez tem repercussões.  “Se eles estão tentando contratar um serviço de telefonia celular, fazer um empréstimo, comprar um carro ou se candidatar a um emprego, isso só tem esses efeitos em cascata”, diz Gilman.
Em setembro, Gilman, que atualmente é membro do corpo docente do instituto de pesquisa Data and Society,  divulgou um relatório  documentando todos os vários algoritmos que os defensores podem encontrar.  Chamado de  Poverty  Lawgorithms, tem como objetivo  servir de guia para seus colegas de campo.  Dividido em áreas de prática específicas, como direito do consumidor, direito da família, habitação e benefícios públicos, ele explica como lidar com questões levantadas por algoritmos e outras tecnologias baseadas em dados no âmbito das leis existentes.
Se um apartamento for negado a um cliente devido a uma pontuação de crédito ruim, por exemplo, o relatório recomenda que um advogado verifique primeiro se os dados inseridos no sistema de pontuação são precisos.  De acordo com o Fair Credit Reporting Act, as agências de relatórios são obrigadas a garantir a validade de suas informações, mas isso nem sempre acontece. Contestar quaisquer reivindicações incorretas poderia ajudar a restaurar o crédito do cliente e, portanto, o acesso à moradia.  O relatório reconhece, no entanto, que as leis existentes não podem ir mais longe. Ainda há lacunas regulatórias a preencher, diz Gilman.
Gilman espera que o relatório seja um alerta.  Muitos de seus colegas ainda não perceberam que isso está acontecendo e não são capazes de fazer as perguntas certas para descobrir os algoritmos.  Aqueles que estão cientes do problema estão espalhados pelos EUA, aprendendo, navegando e lutando contra esses sistemas isoladamente.  Ela vê uma oportunidade de conectá-los e criar uma comunidade mais ampla de pessoas que podem ajudar umas às outras.  “Todos nós precisamos de mais treinamento, mais conhecimento – não apenas na lei, mas nesses sistemas”, diz ela.  “Em última análise, é como se cada caso se transformasse em um caso de algoritmo”.