Product Design, Manufacturing & Innovation Resources
Hogar » Teorema de imposibilidad de equidad (aprendizaje automático)

Teorema de imposibilidad de equidad (aprendizaje automático)

2016
  • Jon Kleinberg
  • Sendhil Mullainathan
  • Manish Raghavan
Team of data scientists analyzing fairness metrics in machine learning.

(Imagen generada únicamente con fines ilustrativos)

In fair machine learning, impossibility theorems demonstrate that it is mathematically impossible for an algorithm to satisfy multiple, seemingly intuitive fairness criteria simultaneously, except in trivial cases. For example, an algorithm cannot generally satisfy both demographic parity (equal positive rates across groups) and equalized odds (equal true positive and false positive rates across groups) if the base rates differ between groups.

El teorema de la imposibilidad de equidad pone de relieve una tensión fundamental en la definición y el logro de la equidad. Surge de las relaciones matemáticas entre diferentes métricas de equidad. Por ejemplo, la «paridad demográfica» exige que la probabilidad de un resultado positivo sea la misma en los distintos grupos protegidos. La «igualdad de probabilidades» exige que la tasa de verdaderos positivos y la tasa de falsos positivos sean iguales en todos los grupos. La «paridad predictiva» (o calibración) exige que, para una puntuación de predicción dada, la probabilidad de un resultado verdadero positivo sea la misma en todos los grupos.

El teorema, formulado por Kleinberg y otros, demuestra que, a menos que la prevalencia del resultado positivo sea igual en todos los grupos (algo poco frecuente en la realidad) o que el clasificador sea perfecto, estas tres métricas no pueden satisfacerse simultáneamente. Esto obliga a profesionales y responsables políticos a elegir la definición de equidad más adecuada para cada contexto, reconociendo las ventajas y desventajas inherentes. Por ejemplo, priorizar la paridad demográfica podría resultar en predicciones menos precisas para todos los grupos, mientras que priorizar la paridad predictiva podría generar diferentes tasas de selección. Este descubrimiento transformó el debate, pasando de buscar un único algoritmo «justo» a comprender y gestionar las complejidades de la equidad.

UNESCO Nomenclature: 1203
Ciencias de la computación

Tipo

Sistema abstracto

Ruptura

Incremental

Uso

Uso generalizado

Precursores

  • El teorema de imposibilidad de Arrow en la teoría de la elección social.
  • developments in statistical learning theory
  • early work on disparate impact in legal studies
  • foundational concepts of probability and statistics

Aplicaciones

  • development of fairness-aware machine learning frameworks
  • auditing tools for AI systems
  • policy-making and regulation for AI ethics
  • design of context-specific fairness definitions in credit scoring and hiring algorithms

Patentes:

NA

Ideas para posibles innovaciones

  • context-aware fairness optimizers that allow developers to select and prioritize fairness metrics based on the specific application
  • interactive AI auditing platforms that visualize the trade-offs between different fairness metrics in real-time
  • federated learning models with built-in, customizable fairness constraints
  • AI-driven regulatory compliance checkers for specific industries like finance and healthcare
  • educational software simulating the impact of choosing different fairness criteria
  • dynamic fairness-aware recommender systems that adjust to changing user demographics
  • quantum algorithms designed to explore the fairness-accuracy-privacy solution space more efficiently
  • a standardized ‘fairness nutrition label’ for AI models
  • automated systems for generating synthetic data that satisfies multiple fairness constraints simultaneously
  • blockchain-based systems for transparently tracking and auditing algorithmic decisions against pre-agreed fairness metrics
Relacionado con: equidad, teorema de imposibilidad, aprendizaje automático, sesgo algorítmico, paridad demográfica, probabilidades igualadas, paridad predictiva, ética de la IA, compensación, COMPAS.

Contexto histórico

Teorema de imposibilidad de equidad (aprendizaje automático)

1993
1998
2010
2016
1993
1997-04-23
2001
2010
2020

(Si la fecha es desconocida o no es relevante, por ejemplo "mecánica de fluidos", se proporciona una estimación redondeada de su aparición notable)

décimo año aniversario

Las imágenes en tamaño completo y las descargas solo están disponibles, de forma totalmente gratuita, para los miembros registrados.

> Acceso <