Algorithmische Verwirrung
2020
- Sharad Goel
- Ravi Shroff
- Jennifer Skeem
- Christopher Slobogin
Algorithmische Verwirrung tritt auf, wenn ein Proxy Die von einem Algorithmus verwendete Variable korreliert mit einem geschützten Merkmal (wie z. B. ethnischer Zugehörigkeit oder Geschlecht) und auch mit dem interessierenden Ergebnis. Der Algorithmus kann unbeabsichtigt lernen, anhand des geschützten Merkmals zu diskriminieren, indem er die Ersatzvariable verwendet, selbst wenn das geschützte Merkmal selbst explizit aus den Eingabedaten des Modells ausgeschlossen ist.
Algorithmic confounding is a subtle but powerful source of bias. It arises because machine learning models are exceptionally good at finding statistical correlations, even spurious ones. While a developer might remove a sensitive feature like ‘race’ to prevent discrimination, the model can latch onto other features that act as proxies. A classic example is the use of ZIP codes in loan applications. Due to historical residential segregation, ZIP codes can be highly correlated with race. An algorithm might learn that applicants from certain ZIP codes are higher risk, not because of their location, but because the location is a proxy for a racial group that has historically been denied loans, creating a feedback loop of discrimination.
Dies unterscheidet sich von herkömmlichen statistischen Störfaktoren, da der Algorithmus nicht nur irregeführt wird, sondern aktiv eine diskriminierende Strategie aus den Daten lernt. Die Identifizierung und Abschwächung dieses Problems erfordert mehr als nur die Entfernung von Merkmalen. Häufig sind Techniken zur Kausalanalyse notwendig, um die wahren Zusammenhänge zwischen Variablen zu verstehen, oder der Einsatz von Fairness-bewussten Algorithmen, die so eingeschränkt werden können, dass sie den Einfluss bekannter Stellvertretervariablen ignorieren. Die Herausforderung besteht darin, dass nahezu jede Variable bis zu einem gewissen Grad als Stellvertretervariable fungieren kann, was eine vollständige Eliminierung erschwert.
UNESCO Nomenclature: 1203
- Computerwissenschaften
Verwendung
Weitverbreitete Verwendung
Vorläufer
- concept of confounding variables in statistics and epidemiology
- legal doctrine of disparate impact
- research on redlining and housing discrimination
- development of machine learning classification algorithms
Anwendungen
- auditing of pre-trial risk assessment tools like COMPAS
- development of proxy-aware bias detection methods
- design of fair credit scoring models that avoid redlining proxies
- improving fairness in automated hiring systems by identifying and mitigating confounding variables
Potenzielle Innovationsideen
Aufgrund des hohen Datenverkehrs durch Web-Scraping-Bots, der derzeit mehr als 40.000 Anfragen pro Tag umfasst, ist dieser Inhalt ausschließlich Community-Mitgliedern vorbehalten.
> Anmelden < oder > Registrieren < (100% kostenlos) Zugriff darauf sowie auf alle anderen eingeschränkten Inhalte und Tools.
Verwandt mit: algorithmischer Störfaktor, Proxy-Variable, ungleiche Auswirkungen, algorithmische Verzerrung, maschinelles Lernen, Fairness, Redlining, geschützte Merkmale, indirekte Diskriminierung, Kausalschluss.