Product Design, Manufacturing & Innovation Resources
Heim » Algorithmische Verwirrung

Algorithmische Verwirrung

2020
  • Sharad Goel
  • Ravi Shroff
  • Jennifer Skeem
  • Christopher Slobogin
Team of data scientists analyzing algorithmic confounding in AI applications.

(Abbildung dient nur zur Veranschaulichung)

Algorithmische Verwirrung tritt auf, wenn ein Proxy Die von einem Algorithmus verwendete Variable korreliert mit einem geschützten Merkmal (wie z. B. ethnischer Zugehörigkeit oder Geschlecht) und auch mit dem interessierenden Ergebnis. Der Algorithmus kann unbeabsichtigt lernen, anhand des geschützten Merkmals zu diskriminieren, indem er die Ersatzvariable verwendet, selbst wenn das geschützte Merkmal selbst explizit aus den Eingabedaten des Modells ausgeschlossen ist.

Algorithmic confounding is a subtle but powerful source of bias. It arises because machine learning models are exceptionally good at finding statistical correlations, even spurious ones. Ein Entwickler mag zwar ein sensibles Merkmal wie „Rasse“ entfernen, um Diskriminierung zu verhindern, aber das Modell kann sich an andere Merkmale anhängen, die als solche fungieren. ProxysEin klassisches Beispiel ist die Verwendung von Postleitzahlen in Kreditanträgen. Aufgrund historischer Wohnortssegregation können Postleitzahlen stark mit der ethnischen Zugehörigkeit korrelieren. Ein Algorithmus könnte feststellen, dass Antragsteller aus bestimmten Postleitzahlen ein höheres Risiko darstellen, nicht aufgrund ihres Wohnorts, sondern weil dieser stellvertretend für eine ethnische Gruppe steht, der in der Vergangenheit Kredite verweigert wurden. Dadurch entsteht ein Teufelskreis der Diskriminierung.

Dies unterscheidet sich von herkömmlichen statistischen Störfaktoren, da der Algorithmus nicht nur irregeführt wird, sondern aktiv eine diskriminierende Strategie aus den Daten lernt. Die Identifizierung und Abschwächung dieses Problems erfordert mehr als nur die Entfernung von Merkmalen. Häufig sind Techniken zur Kausalanalyse notwendig, um die wahren Zusammenhänge zwischen Variablen zu verstehen, oder der Einsatz von Fairness-bewussten Algorithmen, die so eingeschränkt werden können, dass sie den Einfluss bekannter Stellvertretervariablen ignorieren. Die Herausforderung besteht darin, dass nahezu jede Variable bis zu einem gewissen Grad als Stellvertretervariable fungieren kann, was eine vollständige Eliminierung erschwert.

UNESCO Nomenclature: 1203
– Computer science

Typ

Abstract System

Störung

Incremental

Verwendung

Weitverbreitete Verwendung

Vorläufer

  • concept of confounding variables in statistics and epidemiology
  • legal doctrine of disparate impact
  • research on redlining and housing discrimination
  • development of machine learning classification algorithms

Anwendungen

  • auditing of pre-trial Risikobewertung tools like COMPAS
  • development of proxy-aware bias detection methods
  • design of fair credit scoring models that avoid redlining proxies
  • improving fairness in automated hiring systems by identifying and mitigating confounding variables

Patente:

NA

Potenzielle Innovationsideen

  • automated proxy detection tools that scan datasets for potential confounding variables
  • causal inference-based machine learning models that can disentangle the effects of proxies from legitimate predictive factors
  • privacy-preserving algorithms that minimize the inclusion of data that could serve as proxies for sensitive attributes
  • ‘proxy-free’ data generation techniques for training fairer models
  • consulting services specializing in identifying and mitigating algorithmic confounding for businesses
  • interactive dashboards for policymakers to explore how different variables in public datasets might act as proxies
  • certification programs for AI systems that verify they are free from common confounding Verzerrungen
  • explainable AI (XAI) methods specifically designed to highlight the influence of potential proxy variables on model decisions
  • legal frameworks that explicitly define and prohibit the use of known proxy variables for discrimination
  • crowdsourced platforms for identifying and reporting potential proxy variables in widely used algorithms
Verwandt mit: algorithmischer Störfaktor, Proxy-Variable, ungleiche Auswirkungen, algorithmische Verzerrung, maschinelles Lernen, Fairness, Redlining, geschützte Merkmale, indirekte Diskriminierung, Kausalschluss.

Historischer Kontext

Algorithmische Verwirrung

1997-04-23
2001
2010
2020
1993
1998
2010
2016

(wenn das Datum unbekannt oder nicht relevant ist, z. B. „Strömungsmechanik“, wird eine gerundete Schätzung seines bemerkenswerten Auftretens bereitgestellt)

10. Jahr Jubiläum

Bilder in voller Größe und Downloads sind ausschließlich für registrierte Mitglieder kostenlos verfügbar.

> Login <