Product Design, Manufacturing & Innovation Resources
Maison » Théorème d'impossibilité d'équité (apprentissage automatique)

Théorème d'impossibilité d'équité (apprentissage automatique)

2016
  • Jon Kleinberg
  • Sendhil Mullainathan
  • Manish Raghavan
Une équipe de data scientists analyse les mesures d'équité dans le cadre de l'apprentissage automatique.

(Image générée à titre d'illustration uniquement)

En apprentissage automatique équitable, les théorèmes d'impossibilité démontrent qu'il est mathématiquement impossible pour un algorithme de satisfaire simultanément plusieurs critères d'équité, même apparemment intuitifs, sauf dans des cas triviaux. Par exemple, un algorithme ne peut généralement pas satisfaire à la fois la parité démographique (taux de positivité égaux entre les groupes) et l'égalité des chances (taux de vrais positifs et de faux positifs égaux entre les groupes) si les taux de base diffèrent entre les groupes.

Le théorème d'impossibilité de l'équité met en lumière une tension fondamentale dans la définition et la réalisation de l'équité. Cette tension découle des relations mathématiques entre différentes mesures d'équité. Par exemple, la « parité démographique » exige que la probabilité d'un résultat positif soit identique pour tous les groupes protégés. L'« égalité des chances » exige que les taux de vrais positifs et de faux positifs soient égaux entre les groupes. La « parité prédictive » (ou calibration) exige que, pour un score de prédiction donné, la probabilité d'un résultat positif soit identique pour tous les groupes.

Le théorème, formulé par Kleinberg et d'autres, démontre que, sauf si la prévalence du résultat positif est égale pour tous les groupes (ce qui est rare en réalité) ou si le classificateur est parfait, ces trois critères ne peuvent être satisfaits simultanément. Ceci oblige les praticiens et les décideurs politiques à choisir la définition d'équité la plus appropriée à un contexte donné, en tenant compte des compromis inhérents. Par exemple, privilégier la parité démographique pourrait entraîner des prédictions moins précises pour tous les groupes, tandis que privilégier la parité prédictive pourrait engendrer des taux de sélection différents. Cette découverte a déplacé le débat : de la recherche d'un algorithme unique « équitable » à la compréhension et à la gestion des compromis liés à l'équité.

UNESCO Nomenclature: 1203
- Informatique

Taper

Système abstrait

Perturbation

Incrémentale

Usage

Utilisation généralisée

Précurseurs

  • Le théorème d'impossibilité d'Arrow dans la théorie du choix social
  • développements en théorie de l'apprentissage statistique
  • premiers travaux sur l'impact disproportionné dans les études juridiques
  • concepts fondamentaux des probabilités et des statistiques

Applications

  • développement de cadres d'apprentissage automatique sensibles à l'équité
  • outils d'audit pour les systèmes d'IA
  • élaboration de politiques et réglementation en matière d'éthique de l'IA
  • Conception de définitions d'équité adaptées au contexte dans les algorithmes de notation de crédit et d'embauche

Brevets:

NA

Idées d'innovations potentielles

En raison du trafic généré par les robots de scraping, actuellement supérieur à 40 000 par jour, ce contenu est réservé aux membres de la communauté.
> Connexion < ou > Registre < (100% gratuit) pour y accéder, ainsi qu'à tous les autres contenus et outils à accès restreint.

En lien avec : équité, théorème d’impossibilité, apprentissage automatique, biais algorithmique, parité démographique, chances égalisées, parité prédictive, éthique de l’IA, compromis, COMPAS.

Contexte historique

Théorème d'impossibilité d'équité (apprentissage automatique)

1993
1998
2010
2016
1993
1997-04-23
2001
2010
2020

(si la date est inconnue ou non pertinente, par exemple « mécanique des fluides », une estimation arrondie de son émergence notable est fournie)

Les images en pleine résolution et les téléchargements sont uniquement disponibles, et 100% gratuits, pour les membres inscrits.