Product Design, Manufacturing & Innovation Resources
Maison » Confusion algorithmique

Confusion algorithmique

2020
  • Sharad Goel
  • Ravi Shroff
  • Jennifer Skeem
  • Christopher Slobogin
Équipe de scientifiques des données analysant les confusions algorithmiques dans les applications d'IA.

(Image générée à titre d'illustration uniquement)

Algorithmic confounding occurs when a procuration variable used by an algorithm is correlated with a protected attribute (like race or gender) and also with the outcome of interest. The algorithm may inadvertently learn to discriminate based on the protected attribute by using the proxy, even if the protected attribute itself is explicitly excluded from the model’s input data.

La confusion algorithmique est une source de biais subtile mais puissante. Elle survient car les modèles d'apprentissage automatique sont exceptionnellement performants pour détecter des corrélations statistiques, même fallacieuses. While a developer might remove a sensitive feature like ‘race’ to prevent discrimination, the model can latch onto other features that act as proxys. A classic example is the use of ZIP codes in loan applications. Due to historical residential segregation, ZIP codes can be highly correlated with race. An algorithm might learn that applicants from certain ZIP codes are higher risk, not because of their location, but because the location is a proxy for a racial group that has historically been denied loans, creating a feedback loop of discrimination.

Innovation.monde

UNESCO Nomenclature: 1203
- Informatique

Taper

Système abstrait

Perturbation

Incrémentale

Usage

Utilisation généralisée

Précurseurs

  • concept de variables confusionnelles en statistique et en épidémiologie
  • doctrine juridique de l'impact disproportionné
  • recherches sur le redlining et la discrimination en matière de logement
  • développement d'algorithmes de classification d'apprentissage automatique

Applications

  • auditing of pre-trial l'évaluation des risques tools like COMPAS
  • développement de méthodes de détection des biais tenant compte des intermédiaires
  • conception de modèles de notation de crédit équitables qui évitent les intermédiaires discriminatoires
  • Améliorer l'équité des systèmes de recrutement automatisés en identifiant et en atténuant les variables confusionnelles

Brevets:

NA

Idées d'innovations potentielles

  • Outils automatisés de détection de proxy qui analysent les ensembles de données à la recherche de variables confondantes potentielles
  • des modèles d'apprentissage automatique basés sur l'inférence causale qui peuvent démêler les effets des variables de substitution de ceux des facteurs prédictifs légitimes
  • algorithmes préservant la confidentialité qui minimisent l'inclusion de données pouvant servir de proxy pour des attributs sensibles
  • ‘proxy-free’ data generation techniques for training fairer models
  • Services de conseil spécialisés dans l'identification et l'atténuation des biais algorithmiques pour les entreprises
  • Des tableaux de bord interactifs permettant aux décideurs politiques d'explorer comment différentes variables dans les ensembles de données publics pourraient servir d'indicateurs indirects.
  • certification programs for AI systems that verify they are free from common confounding biais
  • Les méthodes d'IA explicable (XAI) sont spécifiquement conçues pour mettre en évidence l'influence des variables de substitution potentielles sur les décisions du modèle.
  • cadres juridiques qui définissent et interdisent explicitement l'utilisation de variables de substitution connues à des fins de discrimination
  • Plateformes de crowdsourcing pour l'identification et le signalement des variables de substitution potentielles dans les algorithmes largement utilisés
Related to: algorithmic confounding, proxy variable, disparate impact, algorithmic bias, machine learning, fairness, redlining, protected attributes, indirect discrimination, causal inference.

Contexte historique

Confusion algorithmique

1997-04-23
2001
2010
2020
1993
1998
2010
2016

(si la date est inconnue ou non pertinente, par exemple « mécanique des fluides », une estimation arrondie de son émergence notable est fournie)

10e année anniversaire

Les images en pleine résolution et les téléchargements sont uniquement disponibles, et 100% gratuits, pour les membres inscrits.