Product Design, Manufacturing & Innovation Resources

Heim » Algorithmische Verwirrung

Algorithmische Verwirrung

2020

Sharad Goel
Ravi Shroff
Jennifer Skeem
Christopher Slobogin

(Abbildung dient nur zur Veranschaulichung)

Algorithmische Verwirrung tritt auf, wenn ein Proxy Die von einem Algorithmus verwendete Variable korreliert mit einem geschützten Merkmal (wie z. B. ethnischer Zugehörigkeit oder Geschlecht) und auch mit dem interessierenden Ergebnis. Der Algorithmus kann unbeabsichtigt lernen, anhand des geschützten Merkmals zu diskriminieren, indem er die Ersatzvariable verwendet, selbst wenn das geschützte Merkmal selbst explizit aus den Eingabedaten des Modells ausgeschlossen ist.

Algorithmic confounding is a subtle but powerful source of bias. It arises because machine learning models are exceptionally good at finding statistical correlations, even spurious ones. While a developer might remove a sensitive feature like ‘race’ to prevent discrimination, the model can latch onto other features that act as proxies. A classic example is the use of ZIP codes in loan applications. Due to historical residential segregation, ZIP codes can be highly correlated with race. An algorithm might learn that applicants from certain ZIP codes are higher risk, not because of their location, but because the location is a proxy for a racial group that has historically been denied loans, creating a feedback loop of discrimination.

Dies unterscheidet sich von herkömmlichen statistischen Störfaktoren, da der Algorithmus nicht nur irregeführt wird, sondern aktiv eine diskriminierende Strategie aus den Daten lernt. Die Identifizierung und Abschwächung dieses Problems erfordert mehr als nur die Entfernung von Merkmalen. Häufig sind Techniken zur Kausalanalyse notwendig, um die wahren Zusammenhänge zwischen Variablen zu verstehen, oder der Einsatz von Fairness-bewussten Algorithmen, die so eingeschränkt werden können, dass sie den Einfluss bekannter Stellvertretervariablen ignorieren. Die Herausforderung besteht darin, dass nahezu jede Variable bis zu einem gewissen Grad als Stellvertretervariable fungieren kann, was eine vollständige Eliminierung erschwert.

Algorithmen, Künstliche Intelligenz (KI), Maschinelles Lernen, Risikomanagement

UNESCO Nomenclature: 1203

- Computerwissenschaften

Typ

Abstraktes System

Störung

Inkremental

Verwendung

Weitverbreitete Verwendung

Vorläufer

concept of confounding variables in statistics and epidemiology
legal doctrine of disparate impact
research on redlining and housing discrimination
development of machine learning classification algorithms

Anwendungen

auditing of pre-trial risk assessment tools like COMPAS
development of proxy-aware bias detection methods
design of fair credit scoring models that avoid redlining proxies
improving fairness in automated hiring systems by identifying and mitigating confounding variables

Patente:

Potenzielle Innovationsideen

Aufgrund des hohen Datenverkehrs durch Web-Scraping-Bots, der derzeit mehr als 40.000 Anfragen pro Tag umfasst, ist dieser Inhalt ausschließlich Community-Mitgliedern vorbehalten.
> Anmelden < oder > Registrieren < (100% kostenlos) Zugriff darauf sowie auf alle anderen eingeschränkten Inhalte und Tools.

Verwandt mit: algorithmischer Störfaktor, Proxy-Variable, ungleiche Auswirkungen, algorithmische Verzerrung, maschinelles Lernen, Fairness, Redlining, geschützte Merkmale, indirekte Diskriminierung, Kausalschluss.

Historischer Kontext

Computerarbeitsplatz mit R-Programmierschnittstelle und statistischen Diagrammen in der Softwareentwicklung.

Das umfassende R-Archivnetzwerk (CRAN)

CRAN ist das primäre Repository für die R-Software, ihre Dokumentation und Tausende von benutzergenerierten Erweiterungspaketen. Es handelt sich um ein weltweites Netzwerk von FTP- und Webservern, die identische, aktuelle Versionen von R-Code und -Dokumentation speichern. Dieses zentralisierte und dennoch verteilte System ist von grundlegender Bedeutung für das R-Ökosystem und gewährleistet einfachen Zugriff und Reproduzierbarkeit für Benutzer weltweit.

Agile Projektmanagement-Sitzung mit unterschiedlichem Team in einem modernen Büro.

Agiles Projektmanagement

Agiles Projektmanagement ist ein iterativer Ansatz zur Umsetzung eines Projekts über seinen gesamten Lebenszyklus. Große Projekte werden dabei in kleinere, überschaubare Aufgaben unterteilt, die in kurzen Iterationen oder „Sprints“ abgeschlossen werden. Dies ermöglicht eine regelmäßige Neubewertung, Anpassung von Plänen und Flexibilität bei der Reaktion auf Veränderungen. Die Zusammenarbeit mit dem Kunden, funktionierende Software und die Reaktion auf Veränderungen haben dabei Vorrang vor umfassender Dokumentation und starren Plänen.

Datenwissenschaftler, die gemeinsam an Techniken zur Verringerung von Verzerrungen in der künstlichen Intelligenz arbeiten.

Phasen der Bias-Minderung

Algorithmic bias mitigation techniques are categorized into three main stages relative to the model training process. Pre-processing methods modify the training data itself (e.g., reweighing, resampling). In-processing methods incorporate fairness constraints directly into the model's learning algorithm. Post-processing methods adjust the model's predictions after they have been made to improve fairness.

Algorithmische Verwirrung

1997-04-23

2001

2010

2020

1993

1998

2010

2016

Usability-Testlabor mit Teilnehmern, die digitale Schnittstellen in der Mensch-Computer-Interaktion bewerten.

Die fünf Komponenten der Benutzerfreundlichkeit nach Nielsen

Jakob Nielsen, ein bekannter Usability-Berater, vor allem in den Bereichen UI und Webdesign, definierte Usability anhand von fünf Qualitätskomponenten: Erlernbarkeit (wie leicht ist es für Benutzer, grundlegende Aufgaben beim ersten Mal zu erledigen?), Effizienz (wie schnell können sie einmal erlernte Aufgaben erledigen?), Einprägsamkeit (können Benutzer ihre Kenntnisse nach einer Zeit der Nichtbenutzung wiederherstellen?), Fehler (wie viele Fehler machen Benutzer?) und Zufriedenheit (wie angenehm ist die Nutzung?).

Usability-Testlabor mit Nutzern, die Softwareanwendungen in der Mensch-Computer-Interaktion bewerten.

ISO 9241-11 Definition der Benutzerfreundlichkeit

Die internationale Norm ISO 9241-11 definiert Usability als das „Ausmaß, in dem ein Produkt von bestimmten Benutzern in einem bestimmten Nutzungskontext effektiv, effizient und zufriedenstellend genutzt werden kann, um bestimmte Ziele zu erreichen.“ Diese Definition bietet einen Rahmen für die Messung der Usability, indem sie diese in drei verschiedene, quantifizierbare Komponenten unterteilt und so über rein subjektive Bewertungen hinausgeht.

R-Programmierarbeitsbereich mit Tidyverse-Datenanalysetools und ggplot2-Visualisierungen.

Das R Tidyverse-Ökosystem

Tidyverse ist eine Sammlung von R-Paketen für die Datenwissenschaft, die eine gemeinsame Designphilosophie, Grammatik und Datenstrukturen aufweisen. Entwickelt von Hadley Wickham und anderen, bietet es ein konsistentes und leistungsstarkes Toolkit für Datenimport, -bereinigung, -transformation, -visualisierung und -modellierung. Zu den wichtigsten Paketen gehören „ggplot2“, „dplyr“, „tidyr“ und „readr“, die über Pipes miteinander verknüpft sind.

Ein Team von Datenwissenschaftlern analysiert Fairness-Metriken im maschinellen Lernen.

Fairness-Unmöglichkeitstheorem (maschinelles Lernen)

In fair machine learning, impossibility theorems demonstrate that it is mathematically impossible for an algorithm to satisfy multiple, seemingly intuitive fairness criteria simultaneously, except in trivial cases. For example, an algorithm cannot generally satisfy both demographic parity (equal positive rates across groups) and equalized odds (equal true positive and false positive rates across groups) if the base rates differ between groups.

(wenn das Datum unbekannt oder nicht relevant ist, z. B. „Strömungsmechanik“, wird eine gerundete Schätzung seines bemerkenswerten Auftretens bereitgestellt)