Departamento de Serviços Humanos do Condado de Allegheny é investigado por uso de algoritmo em casos de proteção à criança
O Departamento de Serviços Humanos do Condado de Allegheny, na Pensilvânia, está sendo investigado pelo Departamento de Justiça dos Estados Unidos por ter utilizado um algoritmo para determinar o risco que as crianças correm em relação aos seus pais. A investigação tem como objetivo verificar se a ferramenta discriminou pessoas com deficiência ou outros grupos protegidos. A opacidade desses algoritmos foi ilustrada pela história dos Hackneys, pais com deficiência mental que tiveram sua filha de 8 meses tirada deles sob a acusação de negligência.
O uso desses algoritmos é uma prática crescente em agências de proteção à criança em pelo menos 26 estados nos EUA e em Washington, D.C.. Com base nesses dados públicos e limitadamente acessíveis, os algoritmos avaliam dados familiares e calculam o risco que as crianças têm de sofrer abuso ou negligência. Variáveis como raça, pontos de pobreza e tamanho da família são consideradas para definir valores preditivos. Há inclusão ainda das condições médicas da mãe antes e durante a gravidez e reclamações anteriores por abuso infantil ou negligência.
No entanto, são poucas as informações sobre as variáveis específicas adotadas pelos desenvolvedores dos algoritmos. Recentemente, a União Americana pelas Liberdades Civis (ACLU) analisou um desses sistemas na Pensilvânia e detectou que indivíduos que acessaram serviços locais de saúde mental receberam pontos significativos no escore final elaborado pelo sistema.
Apesar disso, muitos dos líderes que adotaram esse sistema não souberam explicar seu funcionamento. O diretor do Departamento de Crianças e Serviços Familiares do Condado de Los Angeles, Brandon Nichols, afirmou que o uso dessas ferramentas pode identificar famílias em alto risco, ajudando em resultados apresentáveis no sistema. No entanto, disse ainda não saber exatamente como funciona. “Somos mais voltados para trabalho social do que tecnologia”, explicou Nichols. No Condado Larimer em Colorado, uma porta-voz afirmou não saber quais as variáveis utilizadas pelo sistema chamado “Larimer Decision Aide Tool”, afirmando também que essas informações seriam parte do código desenvolvido pelos programadores responsáveis pela criação da ferramenta.
A história dos Hackneys ilustra a falta de transparência desses algoritmos: após viajar para outra região em busca da única marca disponível do leite apto à idade da filha recém-nascida por causa da escassez nacional, constataram depois que ela não estava gostando dessa marca. Isso motivou a internação da filha no centro médico local, onde receberam assistência médica até serem acusados injustamente pela assistente social acionada pelo hospital. Depois disso, um sistema computadorizado foi utilizado em um processo sem transparência clara aos pais para determinar o futuro da menina, agora com 2 anos.
Assim como várias ferramentas tecnológicas similares voltadas ao bem-estar familiar em todo país usadas pelas agências protetoras ligadas aos governos locais americanos, esses processos computadorizados não possuem igualdade social ginestariásna proteção infantil nas minorias afrodescendentes parentalmente pobres e deficientes mentais bem como podem repetir parcialidades injuriosas contra mulheres pobres também veteranas pré-trabalhistas dólares públicos financiadores governamentais discriminatórios beneficiários cadastrados com suspeitas compatibilizações pro tanto.
criança em relação a abuso ou negligência. Variáveis como raça, pontos de pobreza, tamanho da família e condições médicas da mãe são consideradas para definir valores preditivos. No entanto, as informações sobre as variáveis específicas utilizadas pelos desenvolvedores dos algoritmos são limitadas e muitos líderes que adotaram esses sistemas não sabem explicar como eles funcionam. Há preocupações de que esses algoritmos possam discriminar pessoas com deficiência ou outros grupos protegidos. Com informações do U.S. News & World Report.