Product Design, Manufacturing & Innovation Resources
Hogar » Confusión algorítmica

Confusión algorítmica

2020
  • Sharad Goel
  • Ravi Shroff
  • Jennifer Skeem
  • Christopher Slobogin
Equipo de científicos de datos que analizan la confusión algorítmica en aplicaciones de IA.

(Imagen generada únicamente con fines ilustrativos)

La confusión algorítmica se produce cuando un apoderado Una variable utilizada por un algoritmo está correlacionada con un atributo protegido (como la raza o el sexo) y también con el resultado de interés. El algoritmo puede aprender inadvertidamente a discriminar en función del atributo protegido utilizando el proxy, incluso si el propio atributo protegido se excluye explícitamente de los datos de entrada del modelo.

Algorithmic confounding is a subtle but powerful source of bias. It arises because machine learning models are exceptionally good at finding statistical correlations, even spurious ones. Mientras que un desarrollador puede eliminar una característica sensible como la ‘raza’ para evitar la discriminación, el modelo puede aferrarse a otras características que actúan como poderes. Un ejemplo clásico es el uso de los códigos postales en las solicitudes de préstamos. Debido a la segregación residencial histórica, los códigos postales pueden estar muy correlacionados con la raza. Un algoritmo podría aprender que los solicitantes de ciertos códigos postales son de mayor riesgo, no por su ubicación, sino porque la ubicación es un sustituto de un grupo racial al que históricamente se le han denegado los préstamos, creando un bucle de retroalimentación de la discriminación.

Esto es distinto de la confusión estadística tradicional, porque el algoritmo no sólo está siendo engañado, sino que está aprendiendo activamente una política discriminatoria a partir de los datos. Identificar y mitigar esta situación requiere algo más que la simple eliminación de características. A menudo implica técnicas de inferencia causal para comprender las verdaderas relaciones entre variables, o el uso de algoritmos que tengan en cuenta la imparcialidad y que puedan ser limitados para ignorar la influencia de variables sustitutivas conocidas. El reto reside en el hecho de que casi cualquier variable puede ser en cierta medida un proxy, lo que dificulta su eliminación completa.

UNESCO Nomenclature: 1203
Ciencias de la computación

Tipo

Sistema abstracto

Ruptura

Incremental

Uso

Uso generalizado

Precursores

  • concept of confounding variables in statistics and epidemiology
  • legal doctrine of disparate impact
  • research on redlining and housing discrimination
  • development of machine learning classification algorithms

Aplicaciones

  • auditing of pre-trial Evaluación de riesgos tools like COMPAS
  • development of proxy-aware bias detection methods
  • design of fair credit scoring models that avoid redlining proxies
  • improving fairness in automated hiring systems by identifying and mitigating confounding variables

Patentes:

NA

Ideas para posibles innovaciones

  • automated proxy detection tools that scan datasets for potential confounding variables
  • causal inference-based machine learning models that can disentangle the effects of proxies from legitimate predictive factors
  • privacy-preserving algorithms that minimize the inclusion of data that could serve as proxies for sensitive attributes
  • ‘proxy-free’ data generation techniques for training fairer models
  • consulting services specializing in identifying and mitigating algorithmic confounding for businesses
  • interactive dashboards for policymakers to explore how different variables in public datasets might act as proxies
  • certification programs for AI systems that verify they are free from common confounding sesgos
  • explainable AI (XAI) methods specifically designed to highlight the influence of potential proxy variables on model decisions
  • legal frameworks that explicitly define and prohibit the use of known proxy variables for discrimination
  • crowdsourced platforms for identifying and reporting potential proxy variables in widely used algorithms
Relacionado con: confusión algorítmica, variable indirecta, impacto dispar, sesgo algorítmico, aprendizaje automático, equidad, exclusión social, atributos protegidos, discriminación indirecta, inferencia causal.

Contexto histórico

1997-04-23
2001
2010
2020
1993
1998
2010
2016

(Si la fecha es desconocida o no es relevante, por ejemplo "mecánica de fluidos", se proporciona una estimación redondeada de su aparición notable)

décimo año aniversario

Las imágenes en tamaño completo y las descargas solo están disponibles, de forma totalmente gratuita, para los miembros registrados.

> Acceso <