O viés algorítmico (ou discriminação algorítmica) ocorre quando um sistema de inteligência artificial ou aprendizado de máquina produz resultados sistematicamente preconceituosos, discriminatórios ou desproporcionais, favorecendo ou prejudicando determinados grupos de indivíduos em razão de raça, gênero, classe social, orientação sexual ou outras características protegidas.
Origem e causas O viés em sistemas computacionais raramente decorre de uma intenção deliberada do programador, originando-se prioritariamente no ciclo de desenvolvimento do modelo: Dados de treinamento viciados: Se a amostragem de dados históricos utilizada para treinar o algoritmo refletir preconceitos estruturais ou assimetrias da sociedade, o sistema aprenderá e perpetuará esses padrões no futuro.O'Neil, Cathy. Algoritmos de Destruição Em Massa: Como o Big Data Aumenta a Desigualdade e Ameaça a Democracia. São Paulo: Editora Roça Nova, 2020. Variáveis substitutas (proxies): A utilização de critérios aparentemente neutros — como CEP de residência ou hábitos de consumo — que funcionam na prática como indicadores indiretos de raça ou nível socioeconômico. Loops de realimentação (feedback loops): Situação em que as decisões enviesadas do algoritmo geram novos dados viciados, reforçando continuamente o estigma original (comum em sistemas de policiamento preditivo).
Impactos no Direito e na sociedade As consequências jurídicas do viés algorítmico afetam diretamente garantias e direitos fundamentais: Segurança pública e processo penal: Algoritmos de avaliação de risco de reincidência e sistemas de reconhecimento facial têm apresentado taxas elevadas de falsos positivos contra minorias étnicas e raciais, violando a presunção de inocência.Pasquale, Frank. The Black Box Society: The Secret Algorithms That Control Money and Information. Harvard University Press, 2015. Mercado de trabalho e concessão de crédito: Plataformas automatizadas de recrutamento ou análise de perfil financeiro que descartam candidatos ou negam financiamentos com base em parâmetros discriminatórios opacos. Violação do devido processo legal: Dificuldade de contestar em juízo uma decisão tomada por algoritmo cujo funcionamento interno é protegido por segredo industrial ou inacessível ao titular dos dados.
Mitigação e regulação A prevenção e correção de desvios em sistemas automatizados exigem medidas técnicas e operacionais: Auditoria algorítmica e testes de impacto: Avaliações periódicas para rastrear assimetrias estatísticas nos resultados produzidos pelo software antes e durante a sua operação. Transparência e revisibilidade humana: Aplicação do direito à explicação algorítmica e garantia de revisão humana das decisões automatizadas, conforme estabelecido no artigo 20 da Lei Geral de Proteção de Dados Pessoais (LGPD) e no Regulamento Geral sobre a Proteção de Dados (GDPR). Supervisão humana (human-in-the-loop): Exigência de controle ou validação humana obrigatória em decisões de alto risco, especialmente no âmbito do Poder Judiciário e da Administração Pública.
Ver também Direito à explicação algorítmica Ética na inteligência artificial Lei Geral de Proteção de Dados Pessoais Direito digital
Referências
Categoria:Inteligência artificial Categoria:Discriminação