Estes sistemas, frequentemente denominados “instrumentos de avaliação de risco“, são utilizados para decidir se os réus devem ser libertados antes do julgamento, se as alegações de negligência infantil devem ser investigadas, para prever quais alunos podem abandonar a escola e muito mais.
Aprendizado de Máquina (ML) está cada vez mais presente em todas as áreas da vida. Desafios sociais e políticos complexos, contextuais e em constante mudança são automatizados e embalados como problemas matemáticos e técnicos. Ao mesmo tempo, a pesquisa sobre injustiça algorítmica mostra como o ML automatiza e perpetua padrões históricos, muitas vezes injustos e discriminatórios. As consequências negativas dos sistemas algorítmicos, especialmente para as populações marginalizadas, têm impulsionado o trabalho em equidade algorítmica.
Muitos dos sistemas usados hoje baseiam-se em grandes volumes de dados históricos e modelos de aprendizado de máquina que prevêem o comportamento futuro e o sucesso dos participantes do sistema. A Microsoft, por exemplo, usa tais modelos para avaliar as habilidades dos jogadores nos jogos online, os bancos avaliam a confiabilidade de potenciais mutuários ao solicitarem um empréstimo, e algumas empresas chegaram até mesmo a tentar automatizar a triagem de currículos para vagas de emprego. Nessas situações, os desenvolvedores confiam nos algoritmos.
No entanto, a maioria desses trabalhos é muito restrita e foca no ajuste fino de modelos específicos, na melhoria da representatividade dos conjuntos de dados e na “atenuação” desses dados. Embora tais medidas possam fazer parte da solução, um caminho fundamentalmente justo deve considerar o panorama geral, como suposições não questionadas ou intuitivas nos conjuntos de dados, injustiças atuais e históricas e assimetrias de poder.
Os desenvolvedores dessas ferramentas e as autoridades que as empregam frequentemente afirmam que as avaliações de risco melhorarão as decisões humanas por meio do uso de dados. Mas instrumentos de avaliação de risco (e os dados usados para criá-los) não são apenas sistemas técnicos que existem isoladamente – eles estão intrinsecamente entrelaçados com a política dos sistemas em que são empregados e podem reproduzir os vieses desses sistemas. Pretendemos esclarecer o conceito de instrumentos de avaliação de risco e examinar exemplos práticos de sua aplicação.
1. Programas de Assistência Social:
Uma das aplicações mais comuns de instrumentos de avaliação de risco é a determinação da elegibilidade para programas de assistência social. Por exemplo, os governos coletam dados sobre renda, status de emprego e tamanho da família para decidir se uma família tem direito a auxílio alimentar ou seguro-desemprego. Ao analisar esses dados, eles buscam garantir que aqueles que realmente precisam de ajuda a recebam.
2. Alocação de Serviços de Saúde:
No setor de saúde, os governos utilizam registros médicos pessoais e dados de saúde para distribuir recursos de forma eficiente. Essa estratégia foi usada, por exemplo, durante a pandemia para identificar o público-alvo e priorizar sua vacinação.
3. Sistema de Justiça Criminal:
Instrumentos de avaliação de risco também foram adotados no sistema de justiça criminal. Eles analisam o passado criminal e o histórico de uma pessoa para avaliar o risco de reincidência. Os resultados podem influenciar decisões sobre o valor da fiança ou a sentença, buscando uma abordagem mais justa e baseada em evidências na justiça.
4. Educação:
No setor educacional, os dados desempenham um papel crucial na alocação de recursos e na análise demográfica. O sistema educacional é um dos lugares mais fáceis para coletar dados, pois, na maioria dos países, a frequência escolar é obrigatória. A partir do sistema educacional, os governos obtêm informações sobre as finanças, as relações familiares, o local de residência, bem como a saúde mental e física.
5. Impostos:
A tributação é outra área onde entram os dados financeiros pessoais. Os governos usam dados sobre renda e propriedades para determinar a quantia de imposto predial que uma pessoa deve.
6. Saúde Pública:
No contexto da saúde pública, dados coletados de fontes diversas, como aplicativos móveis e dispositivos vestíveis, ajudam no monitoramento da saúde populacional. Com eles, até mesmo as empresas de seguros podem fazer previsões e estimativas sobre riscos e complicações futuras para a saúde de uma pessoa.
7. Subsídio de Habitação:
Os governos usam dados pessoais financeiros e habitacionais para determinar a elegibilidade para programas de subsídio de habitação. Informações sobre renda, tamanho da família e condições de moradia asseguram que os que precisam de moradia acessível recebam o suporte necessário.
8. Imigração:
As autoridades de imigração fundamentam-se em dados pessoais para tomar decisões sobre concessão de vistos e deportações. Fatores como histórico de viagens, ficha criminal e status de emprego são considerados nas decisões sobre questões de imigração.
9. Gestão de Desastres:
Durante catástrofes naturais, os governos coletam dados sobre a população afetada para alocar seus recursos de forma eficaz. Dados de localização são usados, por exemplo, para identificar áreas que precisam de ajuda imediata, auxiliando assim no rápido socorro em desastres.
Por que isso é importante para o mundo PRVCY?
Porque a posse de todos esses dados às vezes leva os governos a se tornarem gananciosos e tentarem controlar nossa vida pessoal, como vimos durante a plandemia.
Embora ferramentas de avaliação de risco sejam certamente promissoras para uma melhor governança, preocupações com privacidade, justiça e possíveis vieses nesses sistemas são onipresentes. Encontrar o equilíbrio certo entre o uso de dados para o bem comum e a proteção dos direitos individuais é um desafio constante para governos ao redor do mundo, e eles não estão se saindo particularmente bem.
Nos Estados Unidos, PATTERN foi usado para decidir se pessoas presas deveriam ser liberadas e colocadas em casa durante a pandemia de COVID-19.
O PATTERN gera “valores de risco” – essencialmente números que estimam a probabilidade de uma pessoa ser presa ou encarcerada novamente após sua liberação. Com base em limiares, esses valores são então convertidos em categorias de risco. Por exemplo, um valor abaixo de um determinado número pode ser considerado “baixo risco”, enquanto valores iguais ou superiores são classificados como “alto risco”, e assim por diante.
Especialistas em PRVCY digital chamam este sistema de injustiça algorítmica.
A IA baseia-se em algoritmos de aprendizado de máquina que, embora elogiados como soluções versáteis no setor tecnológico, também têm suas fraquezas. Assim como qualquer outro sistema computacional, eles estão sujeitos a erros.
No campo da cibersegurança, por exemplo, algoritmos de aprendizado de máquina são usados para identificar rapidamente malwares antes desconhecidos. No entanto, isso cria um dilema: quanto maior a taxa de detecção, mais provável é que o sistema erroneamente classifique um arquivo não malicioso como malicioso. Isso se deve ao funcionamento básico do aprendizado de máquina, onde o sistema compara características visuais de um objeto com objetos conhecidos, em vez de analisar suas particularidades.
Em certos cenários, objetos benignos podem se parecer muito com objetos maliciosos, e um sistema baseado em pontuação provavelmente classificaria o objeto como malicioso. Em um contexto onde sistemas automatizados avaliam o comportamento humano, esse aspecto particular dos sistemas de aprendizado de máquina pode resultar em inúmeras situações desagradáveis onde uma pessoa inocente é erroneamente envolvida em ações “erradas”.
Em outros exemplos, os governos utilizam a coleta de dados de maneiras que nem sequer sabemos para quê.
Em 2020, a presidência da Costa Rica enfrentou consideráveis turbulências quando investigadores federais realizaram buscas em escritórios presidenciais e demitiram quatro figuras proeminentes, incluindo o mentor e principal colaborador do presidente. No centro deste tumulto estava um departamento de análise de dados criado nos escritórios executivos, que nos 18 meses anteriores havia coletado e analisado dados pessoais privados de várias fontes governamentais, supostamente para ajudar na formulação de políticas públicas. O ponto crucial era que o departamento de análise de dados presidenciais não possuía base legal até que o governo emitiu um decreto em 19 de fevereiro autorizando sua criação e permitindo que solicitasse dados pessoais confidenciais de outras agências governamentais.
Como podemos garantir que as agências governamentais e outros tomadores de decisão sejam responsabilizados pelos danos potenciais que as ferramentas de avaliação de risco podem causar?
Esses sistemas são vulneráveis a problemas como viés do desenvolvedor, correlações erradas e ciclos de retroalimentação, e os algoritmos não consideram questões éticas a menos que o desenvolvedor as inclua expressamente. Alimentar um sistema de aprendizado de máquina com grandes quantidades de informações e depois aceitar o resultado sem uma revisão crítica pode levar a inúmeras consequências não intencionais, incluindo decisões que acabam violando os direitos de certos cidadãos.
Na Europa e na América, estão sendo desenvolvidas leis que exigem que as empresas forneçam informações compreensíveis às pessoas sobre por que suas classificações pioraram ou melhoraram (ECOA 1974, GDPR 2016) – para que a automação não se torne um teste de caixa preta (onde o testador sabe o que o software deve fazer, mas não como). No entanto, o mesmo não acontece em todos os outros países que estão considerando a implementação de um sistema de classificação social no futuro, pelo menos com base nas informações que conseguimos encontrar em fontes públicas. Se for verdade, isso significa que uma gama de decisões pode ser totalmente colocada nas mãos da IA, o que é um problema.
Sua capacidade de alterar as regras de funcionamento do sistema pode afetar significativamente a vida daqueles grupos sociais que não conseguem influenciar as regras de avaliação. Para impulsionar essa mudança, criamos um recurso para você se sentir capacitado a questionar quando agências governamentais ou desenvolvedores fazem afirmações sobre ferramentas de avaliação de risco.
A maioria desses sistemas baseia-se em uma interface publicamente acessível que contém enormes quantidades de dados pessoais, incluindo todos os “crimes” cometidos. Esse tipo de interface está mais sujeita a vazamentos e pode, em caso de acesso ilegal, levar a terríveis consequências para as pessoas afetadas. Também não precisa ser hackeada. As instituições que usam esses sistemas frequentemente fornecem APIs que permitem recuperar as diversas infrações de uma pessoa inserindo informações como seu número de telefone ou passaporte.
Nossa realidade se transformará em uma espécie de futuro distópico, baseado em aprendizado de máquina para tomar decisões?
Ainda não, mas provavelmente sim. Ainda há muitas incógnitas, e não está claro se sistemas nacionais em países com formas de governo e estruturas legais tão distintas podem realmente ser implementados.
Como cidadãos, é importante estar informado sobre como nossos dados são utilizados e lutar por transparência e justiça nesses sistemas. No final, o poder dos dados não está apenas em sua coleta, mas também em seu uso responsável e ético.
Uma coisa, no entanto, é clara: à medida que a tecnologia continua a se desenvolver sem freios, as fronteiras entre tecnologia digital e questões sociais e políticas mais amplas só tendem a se tornar ainda mais difusas. Por isso, meu #PRVCYDicas:
