Product Design, Manufacturing & Innovation Resources
Lar » Confusão Algorítmica

Confusão Algorítmica

2020
  • Sharad Goel
  • Ravi Shroff
  • Jennifer Skeem
  • Christopher Slobogin
Equipe de cientistas de dados que analisa a confusão algorítmica em aplicativos de IA.

(Imagem gerada apenas para fins ilustrativos)

A confusão algorítmica ocorre quando um proxy Uma variável usada por um algoritmo está correlacionada com um atributo protegido (como raça ou gênero) e também com o resultado de interesse. O algoritmo pode, inadvertidamente, aprender a discriminar com base no atributo protegido ao usar o indicador, mesmo que o próprio atributo protegido seja explicitamente excluído dos dados de entrada do modelo.

A confusão algorítmica é uma fonte sutil, porém poderosa, de viés. Ela surge porque os modelos de aprendizado de máquina são excepcionalmente bons em encontrar correlações estatísticas, mesmo as espúrias. While a developer might remove a sensitive feature like ‘race’ to prevent discrimination, the model can latch onto other features that act as proxies. A classic example is the use of ZIP codes in loan applications. Due to historical residential segregation, ZIP codes can be highly correlated with race. An algorithm might learn that applicants from certain ZIP codes are higher risk, not because of their location, but because the location is a proxy for a racial group that has historically been denied loans, creating a feedback loop of discrimination.

Isso difere da confusão estatística tradicional porque o algoritmo não está apenas sendo enganado; ele está aprendendo ativamente uma política discriminatória a partir dos dados. Identificar e mitigar isso requer mais do que apenas a remoção de variáveis. Frequentemente, envolve técnicas de inferência causal para entender as verdadeiras relações entre as variáveis, ou o uso de algoritmos que consideram a equidade e que podem ser configurados para ignorar a influência de variáveis ​​proxy conhecidas. O desafio reside no fato de que quase qualquer variável pode ser uma proxy em alguma medida, dificultando sua eliminação completa.

UNESCO Nomenclature: 1203
Ciência da Computação

Tipo

Sistema abstrato

Interrupção

Incremental

Uso

Uso generalizado

Precursores

  • Conceito de variáveis ​​de confusão em estatística e epidemiologia
  • doutrina jurídica do impacto desproporcional
  • Pesquisa sobre práticas discriminatórias de crédito imobiliário e discriminação habitacional.
  • desenvolvimento de algoritmos de classificação de aprendizado de máquina

Aplicações

  • auditoria de ferramentas de avaliação de risco pré-julgamento como o COMPAS
  • desenvolvimento de métodos de detecção de viés que levam em consideração os proxies
  • desenvolvimento de modelos justos de avaliação de crédito que evitem indicadores de discriminação racial no acesso ao crédito.
  • Aprimorando a equidade em sistemas automatizados de contratação por meio da identificação e mitigação de variáveis ​​de confusão.

Patentes:

NA

Ideias de Inovação Potencial

Devido ao tráfego de bots de coleta de dados, atualmente superior a 40 mil por dia, este conteúdo é reservado aos membros da comunidade.
> Login < ou > Registrar < (100% gratuito) para acessar isso, assim como todo o restante do conteúdo e das ferramentas restritas.

Relacionado a: confusão algorítmica, variável proxy, impacto desproporcional, viés algorítmico, aprendizado de máquina, equidade, segregação racial, atributos protegidos, discriminação indireta, inferência causal.

Contexto histórico

Confusão Algorítmica

1997-04-23
2001
2010
2020
1993
1998
2010
2016

(Caso a data seja desconhecida ou irrelevante, por exemplo, "mecânica dos fluidos", é fornecida uma estimativa aproximada de seu surgimento notável)

Princípios relacionados à invenção, inovação e tecnologia

Imagens em tamanho real e downloads estão disponíveis apenas, 100% gratuitos, para membros registrados.