Product Design, Manufacturing & Innovation Resources
Maison » Confusion algorithmique

Confusion algorithmique

2020
  • Sharad Goel
  • Ravi Shroff
  • Jennifer Skeem
  • Christopher Slobogin
Équipe de scientifiques des données analysant les confusions algorithmiques dans les applications d'IA.

(Image générée à titre d'illustration uniquement)

Algorithmic confounding occurs when a procuration variable used by an algorithm is correlated with a protected attribute (like race or gender) and also with the outcome of interest. The algorithm may inadvertently learn to discriminate based on the protected attribute by using the proxy, even if the protected attribute itself is explicitly excluded from the model’s input data.

La confusion algorithmique est une source de biais subtile mais puissante. Elle survient car les modèles d'apprentissage automatique sont exceptionnellement performants pour détecter des corrélations statistiques, même fallacieuses. While a developer might remove a sensitive feature like ‘race’ to prevent discrimination, the model can latch onto other features that act as proxies. A classic example is the use of ZIP codes in loan applications. Due to historical residential segregation, ZIP codes can be highly correlated with race. An algorithm might learn that applicants from certain ZIP codes are higher risk, not because of their location, but because the location is a proxy for a racial group that has historically been denied loans, creating a feedback loop of discrimination.

Innovation.monde

UNESCO Nomenclature: 1203
- Informatique

Taper

Système abstrait

Perturbation

Incrémentale

Usage

Utilisation généralisée

Précurseurs

  • concept de variables confusionnelles en statistique et en épidémiologie
  • doctrine juridique de l'impact disproportionné
  • recherches sur le redlining et la discrimination en matière de logement
  • développement d'algorithmes de classification d'apprentissage automatique

Applications

  • audit des outils d'évaluation des risques avant procès comme COMPAS
  • développement de méthodes de détection des biais tenant compte des intermédiaires
  • conception de modèles de notation de crédit équitables qui évitent les intermédiaires discriminatoires
  • Améliorer l'équité des systèmes de recrutement automatisés en identifiant et en atténuant les variables confusionnelles

Brevets:

NA

Idées d'innovations potentielles

En raison du trafic généré par les robots de scraping, actuellement supérieur à 40 000 par jour, ce contenu est réservé aux membres de la communauté.
> Connexion < ou > Registre < (100% gratuit) pour y accéder, ainsi qu'à tous les autres contenus et outils à accès restreint.

Related to: algorithmic confounding, proxy variable, disparate impact, algorithmic bias, machine learning, fairness, redlining, protected attributes, indirect discrimination, causal inference.

Contexte historique

Confusion algorithmique

1997-04-23
2001
2010
2020
1993
1998
2010
2016

(si la date est inconnue ou non pertinente, par exemple « mécanique des fluides », une estimation arrondie de son émergence notable est fournie)

Inventions, innovations et principes techniques connexes

Les images en pleine résolution et les téléchargements sont uniquement disponibles, et 100% gratuits, pour les membres inscrits.