innovation.world
Product Design, Manufacturing & Innovation Resources
Casa » Confondimento algoritmico

Confondimento algoritmico

2020
  • Sharad Goel
  • Ravi Shroff
  • Jennifer Skeem
  • Christopher Slobogin
Team di scienziati dei dati che analizzano il confondimento algoritmico nelle applicazioni AI.

(Immagine generata a solo scopo illustrativo)

Il confondimento algoritmico si verifica quando un procuratore Una variabile utilizzata da un algoritmo è correlata a un attributo protetto (come razza o genere) e anche al risultato di interesse. L'algoritmo potrebbe inavvertitamente imparare a discriminare in base all'attributo protetto utilizzando il proxy, anche se l'attributo protetto stesso è esplicitamente escluso dai dati di input del modello.

Algorithmic confounding is a subtle but powerful source of bias. It arises because machine learning models are exceptionally good at finding statistical correlations, even spurious ones. Mentre uno sviluppatore potrebbe rimuovere una caratteristica sensibile come "razza" per prevenire la discriminazione, il modello può agganciarsi ad altre caratteristiche che agiscono come proxyUn esempio classico è l'utilizzo dei codici postali nelle richieste di prestito. A causa della storica segregazione residenziale, i codici postali possono essere fortemente correlati all'appartenenza etnica. Un algoritmo potrebbe dedurre che i richiedenti provenienti da determinati codici postali presentano un rischio maggiore, non a causa della loro posizione geografica, ma perché tale posizione è un indicatore indiretto dell'appartenenza a un gruppo etnico a cui storicamente sono stati negati i prestiti, creando un circolo vizioso di discriminazione.

Questo fenomeno si distingue dal tradizionale confondimento statistico perché l'algoritmo non viene semplicemente tratto in inganno, ma apprende attivamente una politica discriminatoria dai dati. Identificare e mitigare questo problema richiede più della semplice rimozione delle caratteristiche. Spesso implica l'utilizzo di tecniche di inferenza causale per comprendere le vere relazioni tra le variabili, oppure l'impiego di algoritmi che tengano conto dell'equità e che possano essere vincolati a ignorare l'influenza di variabili proxy note. La difficoltà risiede nel fatto che quasi ogni variabile può essere, in una certa misura, una variabile proxy, rendendo difficile la sua completa eliminazione.

UNESCO Nomenclature: 1203
- Informatica

Tipo

Sistema astratto

Interruzione

Incrementale

Utilizzo

Uso diffuso

Precursori

  • concept of confounding variables in statistics and epidemiology
  • legal doctrine of disparate impact
  • research on redlining and housing discrimination
  • development of machine learning classification algorithms

Applicazioni

  • auditing of pre-trial valutazione del rischio tools like COMPAS
  • development of proxy-aware bias detection methods
  • design of fair credit scoring models that avoid redlining proxies
  • improving fairness in automated hiring systems by identifying and mitigating confounding variables

Brevetti:

NA

Idee e potenziali innovazioni

  • strumenti di rilevamento proxy automatizzati che analizzano i set di dati alla ricerca di potenziali variabili confondenti
  • modelli di apprendimento automatico basati sull'inferenza causale in grado di distinguere gli effetti dei proxy dai fattori predittivi legittimi
  • algoritmi di tutela della privacy che riducono al minimo l'inclusione di dati che potrebbero fungere da proxy per attributi sensibili
  • ‘proxy-free’ data generation techniques for training fairer models
  • servizi di consulenza specializzati nell'identificazione e mitigazione dei fattori di confusione algoritmica per le aziende
  • dashboard interattive per i decisori politici per esplorare come diverse variabili nei set di dati pubblici potrebbero agire come proxy
  • certification programs for AI systems that verify they are free from common confounding pregiudizi
  • metodi di intelligenza artificiale spiegabile (XAI) specificamente progettati per evidenziare l'influenza di potenziali variabili proxy sulle decisioni del modello
  • quadri giuridici che definiscono e proibiscono esplicitamente l'uso di variabili proxy note per la discriminazione
  • piattaforme crowdsourcing per l'identificazione e la segnalazione di potenziali variabili proxy in algoritmi ampiamente utilizzati
Argomenti correlati: confondimento algoritmico, variabile proxy, impatto sproporzionato, bias algoritmico, apprendimento automatico, equità, redlining, attributi protetti, discriminazione indiretta, inferenza causale.

Contesto storico

Stazione di lavoro con interfaccia di programmazione R e grafici statistici per l'ingegneria del software.

La rete completa di archivi R (CRAN)

CRAN è il repository principale per il software R, la sua documentazione e migliaia di pacchetti di estensioni forniti dagli utenti. Si tratta di una rete di server FTP e web in tutto il mondo che archiviano versioni identiche e aggiornate del codice e della documentazione di R. Questo sistema centralizzato, ma distribuito, è fondamentale per l'ecosistema di R, garantendo facile accesso e riproducibilità per gli utenti a livello globale.
Riunione di gestione agile del progetto con un team eterogeneo in un ufficio moderno.

Gestione agile dei progetti

La gestione agile dei progetti è un approccio iterativo alla realizzazione di un progetto durante tutto il suo ciclo di vita. Suddivide i progetti di grandi dimensioni in attività più piccole e gestibili, completate in brevi iterazioni o "sprint". Ciò consente frequenti rivalutazioni, adattamenti dei piani e flessibilità in risposta al cambiamento. Dà priorità alla collaborazione con i clienti, al software funzionante e alla risposta al cambiamento rispetto a una documentazione completa e a piani rigidi.
Gli scienziati dei dati collaborano alle tecniche di mitigazione dei pregiudizi nell'intelligenza artificiale.

Fasi di elaborazione della mitigazione dei pregiudizi

Algorithmic bias mitigation techniques are categorized into three main stages relative to the model training process. Pre-processing methods modify the training data itself (e.g., reweighing, resampling). In-processing methods incorporate fairness constraints directly into the model's learning algorithm. Post-processing methods adjust the model's predictions after they have been made to improve fairness.

Confondimento algoritmico

1997-04-23
2001
2010
2020
1993
1998
2010
2016
Laboratorio di test di usabilità con partecipanti che valutano le interfacce digitali nell'interazione uomo-computer.

Le cinque componenti dell'usabilità secondo Nielsen

Jakob Nielsen, a prominent usability consultant in UI and webdesign mainly, defined usability through five quality components: Learnability (how easy is it for users to accomplish basic tasks the first time?), Efficiency (how quickly can they perform tasks once learned?), Memorability (can users reestablish proficiency after a period of not using it?), Errors (how many errors do users make?), and Satisfaction (how pleasant is it to use?).
Laboratorio di test di usabilità con utenti che valutano applicazioni software nell'ambito dell'interazione uomo-computer.

ISO 9241-11 Definition of Usability

The international standard ISO 9241-11 defines usability as the "extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use." This definition provides a framework for measuring usability by breaking it down into three distinct, quantifiable components, moving beyond purely subjective assessments.
Spazio di programmazione R con strumenti di analisi dei dati Tidyverse e visualizzazioni ggplot2.

L'ecosistema R Tidyverse

Tidyverse è una raccolta di pacchetti R progettati per la scienza dei dati che condividono una filosofia di progettazione, una grammatica e strutture dati di base. Sviluppato da Hadley Wickham e altri, fornisce un toolkit coerente e potente per l'importazione, l'ordinamento, la trasformazione, la visualizzazione e la modellazione dei dati. I pacchetti principali includono `ggplot2`, `dplyr`, `tidyr` e `readr`, che si compongono tramite pipe.
Team di data scientist che analizzano le metriche di equità nell'apprendimento automatico.

Teorema dell'impossibilità dell'equità (apprendimento automatico)

In fair machine learning, impossibility theorems demonstrate that it is mathematically impossible for an algorithm to satisfy multiple, seemingly intuitive fairness criteria simultaneously, except in trivial cases. For example, an algorithm cannot generally satisfy both demographic parity (equal positive rates across groups) and equalized odds (equal true positive and false positive rates across groups) if the base rates differ between groups.

(se la data è sconosciuta o non rilevante, ad esempio "meccanica dei fluidi", viene fornita una stima approssimativa della sua notevole comparsa)

Ultime aggiunte

Articoli e post più popolari

Tutti gli altri articoli di design

Strumenti originali di alta qualità

Tutti gli altri strumenti originali di innovazione mondiale
decimo anno anniversario

Le immagini a grandezza naturale e i download sono disponibili, gratuitamente al 100%, solo per gli utenti registrati.

> Login <