innovation.world
Product Design, Manufacturing & Innovation Resources
Lar » Teorema da Impossibilidade da Equidade (aprendizado de máquina)

Teorema da Impossibilidade da Equidade (aprendizado de máquina)

2016
  • Jon Kleinberg
  • Sendhil Mullainathan
  • Manish Raghavan
Team of data scientists analyzing fairness metrics in machine learning.

(Imagem gerada apenas para fins ilustrativos)

Em aprendizado de máquina justo, os teoremas da impossibilidade demonstram que é matematicamente impossível para um algoritmo satisfazer simultaneamente múltiplos critérios de justiça aparentemente intuitivos, exceto em casos triviais. Por exemplo, um algoritmo geralmente não pode satisfazer tanto a paridade demográfica (taxas iguais de verdadeiros positivos entre os grupos) quanto a igualdade de probabilidades (taxas iguais de verdadeiros positivos e falsos positivos entre os grupos) se as taxas de base forem diferentes entre os grupos.

O teorema da impossibilidade da equidade destaca uma tensão fundamental na definição e na conquista da equidade. Ele decorre das relações matemáticas entre diferentes métricas de equidade. Por exemplo, a "paridade demográfica" exige que a probabilidade de um resultado positivo seja a mesma em diferentes grupos protegidos. A "odds igualada" exige que a taxa de verdadeiros positivos e a taxa de falsos positivos sejam iguais entre os grupos. A "paridade preditiva" (ou calibração) exige que, para uma determinada pontuação de previsão, a probabilidade de um resultado verdadeiro positivo seja a mesma em todos os grupos.

O teorema, articulado por Kleinberg e outros, demonstra que, a menos que a prevalência do resultado positivo seja igual em todos os grupos (uma ocorrência rara na realidade) ou que o classificador seja perfeito, essas três métricas não podem ser satisfeitas simultaneamente. Isso força profissionais e formuladores de políticas a escolherem qual definição de equidade é mais apropriada para um determinado contexto, reconhecendo as compensações inerentes. Por exemplo, priorizar a paridade demográfica pode levar a previsões menos precisas para todos os grupos, enquanto priorizar a paridade preditiva pode resultar em diferentes taxas de seleção. Essa descoberta mudou o foco da discussão, da busca por um único algoritmo "justo" para a compreensão e a gestão do complexo cenário de compensações em termos de equidade.

UNESCO Nomenclature: 1203
Ciência da Computação

Tipo

Sistema abstrato

Interrupção

Incremental

Uso

Uso generalizado

Precursores

  • Teorema da impossibilidade de Arrow na teoria da escolha social
  • desenvolvimentos na teoria da aprendizagem estatística
  • primeiros trabalhos sobre impacto desigual em estudos jurídicos
  • conceitos fundamentais de probabilidade e estatística

Aplicações

  • desenvolvimento de estruturas de aprendizado de máquina que consideram a equidade
  • ferramentas de auditoria para sistemas de IA
  • formulação de políticas e regulamentação para a ética da IA
  • Criação de definições de equidade específicas ao contexto em algoritmos de pontuação de crédito e contratação.

Patentes:

NA

Ideias de Inovação Potencial

  • context-aware fairness optimizers that allow developers to select and prioritize fairness metrics based on the specific application
  • interactive AI auditing platforms that visualize the trade-offs between different fairness metrics in real-time
  • federated learning models with built-in, customizable fairness constraints
  • AI-driven regulatory compliance checkers for specific industries like finance and healthcare
  • educational software simulating the impact of choosing different fairness criteria
  • dynamic fairness-aware recommender systems that adjust to changing user demographics
  • quantum algorithms designed to explore the fairness-accuracy-privacy solution space more efficiently
  • a standardized ‘fairness nutrition label’ for AI models
  • automated systems for generating synthetic data that satisfies multiple fairness constraints simultaneously
  • blockchain-based systems for transparently tracking and auditing algorithmic decisions against pre-agreed fairness metrics
Relacionado a: equidade, teorema da impossibilidade, aprendizado de máquina, viés algorítmico, paridade demográfica, igualdade de chances, paridade preditiva, ética em IA, compensação, COMPAS.

Contexto histórico

Usability testing lab with participants evaluating digital interfaces in human-computer interaction.

Os cinco componentes de usabilidade de Nielsen

Jakob Nielsen, um renomado consultor de usabilidade, principalmente nas áreas de interface do usuário e webdesign, definiu usabilidade por meio de cinco componentes de qualidade: Aprendizado (quão fácil é para os usuários realizar tarefas básicas na primeira vez?), Eficiência (quão rápido eles conseguem executar tarefas depois de aprendê-las?), Memorização (os usuários conseguem recuperar a proficiência após um período sem usar o recurso?), Erros (quantos erros os usuários cometem?) e Satisfação (quão agradável é usar o recurso?).
Usability testing lab with users evaluating software applications in human-computer interaction.

Definição de usabilidade da norma ISO 9241-11

A norma internacional ISO 9241-11 define usabilidade como "a extensão em que um produto pode ser usado por usuários específicos para atingir objetivos específicos com eficácia, eficiência e satisfação em um contexto de uso específico". Essa definição fornece uma estrutura para medir a usabilidade, dividindo-a em três componentes distintos e quantificáveis, indo além de avaliações puramente subjetivas.
R programming workspace with Tidyverse data analysis tools and ggplot2 visualizations.

O ecossistema R Tidyverse

O Tidyverse é uma coleção de pacotes R projetados para ciência de dados que compartilham uma filosofia de design, gramática e estruturas de dados subjacentes. Desenvolvido por Hadley Wickham e outros, ele fornece um conjunto de ferramentas consistente e poderoso para importação, organização, transformação, visualização e modelagem de dados. Os principais pacotes incluem `ggplot2`, `dplyr`, `tidyr` e `readr`, que podem ser combinados usando pipes.

Teorema da Impossibilidade da Equidade (aprendizado de máquina)

1993
1998
2010
2016
1993
1997-04-23
2001
2010
2020
R programming environment with statistical analysis tools and coding interface.

A linguagem de programação R

R é um ambiente de software livre para computação estatística e gráficos, e um dialeto da linguagem de programação S. Foi criado por Ross Ihaka e Robert Gentleman na Universidade de Auckland, Nova Zelândia. R é considerado uma implementação alternativa de S, com semântica derivada de Scheme, que introduziu recursos poderosos como escopo léxico, ausentes nas primeiras versões de S.
Computer workstation with R programming interface and statistical graphs in software engineering.

A Rede Abrangente de Arquivos R (CRAN)

O CRAN é o repositório principal do software R, sua documentação e milhares de pacotes de extensão contribuídos por usuários. Trata-se de uma rede de servidores FTP e web ao redor do mundo que armazenam versões idênticas e atualizadas do código e da documentação do R. Esse sistema centralizado, porém distribuído, é fundamental para o ecossistema do R, garantindo fácil acesso e reprodutibilidade para usuários em todo o mundo.
Agile project management meeting with diverse team in modern office.

Gestão Ágil de Projetos

A gestão ágil de projetos é uma abordagem iterativa para a entrega de um projeto ao longo de seu ciclo de vida. Ela divide grandes projetos em tarefas menores e gerenciáveis, concluídas em iterações curtas ou "sprints". Isso permite reavaliações frequentes, adaptação de planos e flexibilidade em resposta a mudanças. Prioriza a colaboração com o cliente, o software funcional e a capacidade de resposta a mudanças em detrimento de documentação abrangente e planos rígidos.
Data scientists collaborating on bias mitigation techniques in artificial intelligence.

Etapas do Processamento de Mitigação de Viés

As técnicas de mitigação de viés algorítmico são categorizadas em três estágios principais em relação ao processo de treinamento do modelo. Os métodos de pré-processamento modificam os próprios dados de treinamento (por exemplo, reponderação, reamostragem). Os métodos de processamento interno incorporam restrições de equidade diretamente no algoritmo de aprendizado do modelo. Os métodos de pós-processamento ajustam as previsões do modelo após terem sido feitas para melhorar a equidade.
Team of data scientists analyzing algorithmic confounding in AI applications.

Confusão Algorítmica

A confusão algorítmica ocorre quando uma variável proxy usada por um algoritmo está correlacionada com um atributo protegido (como raça ou gênero) e também com o resultado de interesse. O algoritmo pode, inadvertidamente, aprender a discriminar com base no atributo protegido ao usar a variável proxy, mesmo que o próprio atributo protegido seja explicitamente excluído dos dados de entrada do modelo.

(Caso a data seja desconhecida ou irrelevante, por exemplo, "mecânica dos fluidos", é fornecida uma estimativa aproximada de seu surgimento notável)

Últimas adições

Postagens e artigos mais populares

Todos os outros artigos sobre design

Ferramentas originais de alta qualidade

Todas as outras ferramentas originais da innovation.world
10º ano aniversário

Imagens em tamanho real e downloads estão disponíveis apenas, 100% gratuitos, para membros registrados.

> Conecte-se <