Product Design, Manufacturing & Innovation Resources
Lar » Confusão Algorítmica

Confusão Algorítmica

2020
  • Sharad Goel
  • Ravi Shroff
  • Jennifer Skeem
  • Christopher Slobogin
Equipe de cientistas de dados que analisa a confusão algorítmica em aplicativos de IA.

(Imagem gerada apenas para fins ilustrativos)

A confusão algorítmica ocorre quando um proxy Uma variável usada por um algoritmo está correlacionada com um atributo protegido (como raça ou gênero) e também com o resultado de interesse. O algoritmo pode, inadvertidamente, aprender a discriminar com base no atributo protegido ao usar o indicador, mesmo que o próprio atributo protegido seja explicitamente excluído dos dados de entrada do modelo.

A confusão algorítmica é uma fonte sutil, porém poderosa, de viés. Ela surge porque os modelos de aprendizado de máquina são excepcionalmente bons em encontrar correlações estatísticas, mesmo as espúrias. Embora um desenvolvedor possa remover uma característica sensível como "raça" para evitar discriminação, o modelo pode se conectar a outras características que atuam como proxiesUm exemplo clássico é o uso de CEPs em pedidos de empréstimo. Devido à segregação residencial histórica, os CEPs podem estar altamente correlacionados com a raça. Um algoritmo pode aprender que candidatos de determinados CEPs representam um risco maior, não por causa de sua localização em si, mas porque a localização é um indicador de um grupo racial que historicamente teve seus empréstimos negados, criando um ciclo vicioso de discriminação.

Isso difere da confusão estatística tradicional porque o algoritmo não está apenas sendo enganado; ele está aprendendo ativamente uma política discriminatória a partir dos dados. Identificar e mitigar isso requer mais do que apenas a remoção de variáveis. Frequentemente, envolve técnicas de inferência causal para entender as verdadeiras relações entre as variáveis, ou o uso de algoritmos que consideram a equidade e que podem ser configurados para ignorar a influência de variáveis ​​proxy conhecidas. O desafio reside no fato de que quase qualquer variável pode ser uma proxy em alguma medida, dificultando sua eliminação completa.

UNESCO Nomenclature: 1203
Ciência da Computação

Tipo

Sistema abstrato

Interrupção

Incremental

Uso

Uso generalizado

Precursores

  • Conceito de variáveis ​​de confusão em estatística e epidemiologia
  • doutrina jurídica do impacto desproporcional
  • Pesquisa sobre práticas discriminatórias de crédito imobiliário e discriminação habitacional.
  • desenvolvimento de algoritmos de classificação de aprendizado de máquina

Aplicações

  • auditing of pre-trial risk assessment tools like COMPAS
  • desenvolvimento de métodos de detecção de viés que levam em consideração os proxies
  • desenvolvimento de modelos justos de avaliação de crédito que evitem indicadores de discriminação racial no acesso ao crédito.
  • Aprimorando a equidade em sistemas automatizados de contratação por meio da identificação e mitigação de variáveis ​​de confusão.

Patentes:

NA

Ideias de Inovação Potencial

  • automated proxy detection tools that scan datasets for potential confounding variables
  • causal inference-based machine learning models that can disentangle the effects of proxies from legitimate predictive factors
  • privacy-preserving algorithms that minimize the inclusion of data that could serve as proxies for sensitive attributes
  • ‘proxy-free’ data generation techniques for training fairer models
  • consulting services specializing in identifying and mitigating algorithmic confounding for businesses
  • interactive dashboards for policymakers to explore how different variables in public datasets might act as proxies
  • certification programs for AI systems that verify they are free from common confounding O sistema então envia um e-mail para o amigo inativo dizendo: "Seu amigo [nome do jogador] lhe enviou um tíquete de convocação de herói 5 estrelas! Volte ao jogo para reivindicar seu herói!"
  • explainable AI (XAI) methods specifically designed to highlight the influence of potential proxy variables on model decisions
  • legal frameworks that explicitly define and prohibit the use of known proxy variables for discrimination
  • crowdsourced platforms for identifying and reporting potential proxy variables in widely used algorithms
Relacionado a: confusão algorítmica, variável proxy, impacto desproporcional, viés algorítmico, aprendizado de máquina, equidade, segregação racial, atributos protegidos, discriminação indireta, inferência causal.

Contexto histórico

Confusão Algorítmica

1997-04-23
2001
2010
2020
1993
1998
2010
2016

(Caso a data seja desconhecida ou irrelevante, por exemplo, "mecânica dos fluidos", é fornecida uma estimativa aproximada de seu surgimento notável)

10º ano aniversário

Imagens em tamanho real e downloads estão disponíveis apenas, 100% gratuitos, para membros registrados.