Product Design, Manufacturing & Innovation Resources
Lar » Teorema da Impossibilidade da Equidade (aprendizado de máquina)

Teorema da Impossibilidade da Equidade (aprendizado de máquina)

2016
  • Jon Kleinberg
  • Sendhil Mullainathan
  • Manish Raghavan
Equipe de cientistas de dados analisando métricas de equidade em aprendizado de máquina.

(Imagem gerada apenas para fins ilustrativos)

Em aprendizado de máquina justo, os teoremas da impossibilidade demonstram que é matematicamente impossível para um algoritmo satisfazer simultaneamente múltiplos critérios de justiça aparentemente intuitivos, exceto em casos triviais. Por exemplo, um algoritmo geralmente não pode satisfazer tanto a paridade demográfica (taxas iguais de verdadeiros positivos entre os grupos) quanto a igualdade de probabilidades (taxas iguais de verdadeiros positivos e falsos positivos entre os grupos) se as taxas de base forem diferentes entre os grupos.

O teorema da impossibilidade da equidade destaca uma tensão fundamental na definição e na conquista da equidade. Ele decorre das relações matemáticas entre diferentes métricas de equidade. Por exemplo, a "paridade demográfica" exige que a probabilidade de um resultado positivo seja a mesma em diferentes grupos protegidos. A "odds igualada" exige que a taxa de verdadeiros positivos e a taxa de falsos positivos sejam iguais entre os grupos. A "paridade preditiva" (ou calibração) exige que, para uma determinada pontuação de previsão, a probabilidade de um resultado verdadeiro positivo seja a mesma em todos os grupos.

O teorema, articulado por Kleinberg e outros, demonstra que, a menos que a prevalência do resultado positivo seja igual em todos os grupos (uma ocorrência rara na realidade) ou que o classificador seja perfeito, essas três métricas não podem ser satisfeitas simultaneamente. Isso força profissionais e formuladores de políticas a escolherem qual definição de equidade é mais apropriada para um determinado contexto, reconhecendo as compensações inerentes. Por exemplo, priorizar a paridade demográfica pode levar a previsões menos precisas para todos os grupos, enquanto priorizar a paridade preditiva pode resultar em diferentes taxas de seleção. Essa descoberta mudou o foco da discussão, da busca por um único algoritmo "justo" para a compreensão e a gestão do complexo cenário de compensações em termos de equidade.

UNESCO Nomenclature: 1203
Ciência da Computação

Tipo

Sistema abstrato

Interrupção

Incremental

Uso

Uso generalizado

Precursores

  • Teorema da impossibilidade de Arrow na teoria da escolha social
  • desenvolvimentos na teoria da aprendizagem estatística
  • primeiros trabalhos sobre impacto desigual em estudos jurídicos
  • conceitos fundamentais de probabilidade e estatística

Aplicações

  • desenvolvimento de estruturas de aprendizado de máquina que consideram a equidade
  • ferramentas de auditoria para sistemas de IA
  • formulação de políticas e regulamentação para a ética da IA
  • Criação de definições de equidade específicas ao contexto em algoritmos de pontuação de crédito e contratação.

Patentes:

NA

Ideias de Inovação Potencial

Devido ao tráfego de bots de coleta de dados, atualmente superior a 40 mil por dia, este conteúdo é reservado aos membros da comunidade.
> Login < ou > Registrar < (100% gratuito) para acessar isso, assim como todo o restante do conteúdo e das ferramentas restritas.

Relacionado a: equidade, teorema da impossibilidade, aprendizado de máquina, viés algorítmico, paridade demográfica, igualdade de chances, paridade preditiva, ética em IA, compensação, COMPAS.

Contexto histórico

Teorema da Impossibilidade da Equidade (aprendizado de máquina)

1993
1998
2010
2016
1993
1997-04-23
2001
2010
2020

(Caso a data seja desconhecida ou irrelevante, por exemplo, "mecânica dos fluidos", é fornecida uma estimativa aproximada de seu surgimento notável)

Imagens em tamanho real e downloads estão disponíveis apenas, 100% gratuitos, para membros registrados.