Product Design, Manufacturing & Innovation Resources

Casa » Confondimento algoritmico

Confondimento algoritmico

2020

Sharad Goel
Ravi Shroff
Jennifer Skeem
Christopher Slobogin

(Immagine generata a solo scopo illustrativo)

Il confondimento algoritmico si verifica quando un procuratore Una variabile utilizzata da un algoritmo è correlata a un attributo protetto (come razza o genere) e anche al risultato di interesse. L'algoritmo potrebbe inavvertitamente imparare a discriminare in base all'attributo protetto utilizzando il proxy, anche se l'attributo protetto stesso è esplicitamente escluso dai dati di input del modello.

Algorithmic confounding is a subtle but powerful source of bias. It arises because machine learning models are exceptionally good at finding statistical correlations, even spurious ones. While a developer might remove a sensitive feature like ‘race’ to prevent discrimination, the model can latch onto other features that act as proxies. A classic example is the use of ZIP codes in loan applications. Due to historical residential segregation, ZIP codes can be highly correlated with race. An algorithm might learn that applicants from certain ZIP codes are higher risk, not because of their location, but because the location is a proxy for a racial group that has historically been denied loans, creating a feedback loop of discrimination.

Questo fenomeno si distingue dal tradizionale confondimento statistico perché l'algoritmo non viene semplicemente tratto in inganno, ma apprende attivamente una politica discriminatoria dai dati. Identificare e mitigare questo problema richiede più della semplice rimozione delle caratteristiche. Spesso implica l'utilizzo di tecniche di inferenza causale per comprendere le vere relazioni tra le variabili, oppure l'impiego di algoritmi che tengano conto dell'equità e che possano essere vincolati a ignorare l'influenza di variabili proxy note. La difficoltà risiede nel fatto che quasi ogni variabile può essere, in una certa misura, una variabile proxy, rendendo difficile la sua completa eliminazione.

Algorithms, Intelligenza artificiale (IA), Apprendimento automatico, Gestione del rischio

UNESCO Nomenclature: 1203

- Informatica

Tipo

Sistema astratto

Interruzione

Incrementale

Utilizzo

Uso diffuso

Precursori

concept of confounding variables in statistics and epidemiology
legal doctrine of disparate impact
research on redlining and housing discrimination
development of machine learning classification algorithms

Applicazioni

auditing of pre-trial risk assessment tools like COMPAS
development of proxy-aware bias detection methods
design of fair credit scoring models that avoid redlining proxies
improving fairness in automated hiring systems by identifying and mitigating confounding variables

Brevetti:

Idee e potenziali innovazioni

A causa dell'eliminazione del traffico generato dai bot, che attualmente supera i 40.000 al giorno, questo contenuto è riservato ai membri della community.
> Accedi O > Registrati L'accesso a questo contenuto, così come a tutti gli altri contenuti e strumenti riservati, è (100% gratuito).

Argomenti correlati: confondimento algoritmico, variabile proxy, impatto sproporzionato, bias algoritmico, apprendimento automatico, equità, redlining, attributi protetti, discriminazione indiretta, inferenza causale.

Contesto storico

Stazione di lavoro con interfaccia di programmazione R e grafici statistici per l'ingegneria del software.

La rete completa di archivi R (CRAN)

CRAN è il repository principale per il software R, la sua documentazione e migliaia di pacchetti di estensioni forniti dagli utenti. Si tratta di una rete di server FTP e web in tutto il mondo che archiviano versioni identiche e aggiornate del codice e della documentazione di R. Questo sistema centralizzato, ma distribuito, è fondamentale per l'ecosistema di R, garantendo facile accesso e riproducibilità per gli utenti a livello globale.

Riunione di gestione agile del progetto con un team eterogeneo in un ufficio moderno.

Gestione agile dei progetti

La gestione agile dei progetti è un approccio iterativo alla realizzazione di un progetto durante tutto il suo ciclo di vita. Suddivide i progetti di grandi dimensioni in attività più piccole e gestibili, completate in brevi iterazioni o "sprint". Ciò consente frequenti rivalutazioni, adattamenti dei piani e flessibilità in risposta al cambiamento. Dà priorità alla collaborazione con i clienti, al software funzionante e alla risposta al cambiamento rispetto a una documentazione completa e a piani rigidi.

Gli scienziati dei dati collaborano alle tecniche di mitigazione dei pregiudizi nell'intelligenza artificiale.

Fasi di elaborazione della mitigazione dei pregiudizi

Algorithmic bias mitigation techniques are categorized into three main stages relative to the model training process. Pre-processing methods modify the training data itself (e.g., reweighing, resampling). In-processing methods incorporate fairness constraints directly into the model's learning algorithm. Post-processing methods adjust the model's predictions after they have been made to improve fairness.

Confondimento algoritmico

1997-04-23

2001

2010

2020

1993

1998

2010

2016

Laboratorio di test di usabilità con partecipanti che valutano le interfacce digitali nell'interazione uomo-computer.

Le cinque componenti dell'usabilità secondo Nielsen

Jakob Nielsen, a prominent usability consultant in UI and webdesign mainly, defined usability through five quality components: Learnability (how easy is it for users to accomplish basic tasks the first time?), Efficiency (how quickly can they perform tasks once learned?), Memorability (can users reestablish proficiency after a period of not using it?), Errors (how many errors do users make?), and Satisfaction (how pleasant is it to use?).

Laboratorio di test di usabilità con utenti che valutano applicazioni software nell'ambito dell'interazione uomo-computer.

ISO 9241-11 Definition of Usability

The international standard ISO 9241-11 defines usability as the "extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use." This definition provides a framework for measuring usability by breaking it down into three distinct, quantifiable components, moving beyond purely subjective assessments.

Spazio di programmazione R con strumenti di analisi dei dati Tidyverse e visualizzazioni ggplot2.

L'ecosistema R Tidyverse

Tidyverse è una raccolta di pacchetti R progettati per la scienza dei dati che condividono una filosofia di progettazione, una grammatica e strutture dati di base. Sviluppato da Hadley Wickham e altri, fornisce un toolkit coerente e potente per l'importazione, l'ordinamento, la trasformazione, la visualizzazione e la modellazione dei dati. I pacchetti principali includono `ggplot2`, `dplyr`, `tidyr` e `readr`, che si compongono tramite pipe.

Team di data scientist che analizzano le metriche di equità nell'apprendimento automatico.

Teorema dell'impossibilità dell'equità (apprendimento automatico)

In fair machine learning, impossibility theorems demonstrate that it is mathematically impossible for an algorithm to satisfy multiple, seemingly intuitive fairness criteria simultaneously, except in trivial cases. For example, an algorithm cannot generally satisfy both demographic parity (equal positive rates across groups) and equalized odds (equal true positive and false positive rates across groups) if the base rates differ between groups.

(se la data è sconosciuta o non rilevante, ad esempio "meccanica dei fluidi", viene fornita una stima approssimativa della sua notevole comparsa)