在公平机器学习中，不可能定理表明，除了极少数例外情况外，算法不可能同时满足多个看似直观的公平性标准。例如，如果不同群体的基准率不同，算法通常无法同时满足人口统计均衡（各群体阳性率相等）和概率均等（各群体真阳性率和假阳性率相等）。
公平性不可能定理（机器学习）
2016
- Jon Kleinberg
- Sendhil Mullainathan
- Manish Raghavan
（图片仅供参考）
公平不可能定理凸显了定义和实现公平性时存在的根本矛盾。这种矛盾源于不同公平性指标之间的数学关系。例如，“人口统计平等”要求不同受保护群体获得阳性结果的概率相同；“均等赔率”要求各群体的真阳性率和假阳性率相等；“预测平等”（或校准）要求对于给定的预测分数，各群体获得真阳性结果的概率相同。
由克莱因伯格等人提出的定理证明，除非所有群体中积极结果的发生率相等（这在现实中很少发生）或分类器完美无缺，否则这三个指标无法同时满足。这迫使实践者和政策制定者在特定情况下选择最合适的公平定义，并承认其中固有的权衡取舍。例如，优先考虑人口统计上的平等可能会导致所有群体的预测准确性降低，而优先考虑预测上的平等则可能导致不同的选择率。这一发现使讨论的重点从寻找单一的“公平”算法转移到理解和应对公平权衡的复杂局面。
- Algorithms, 机器学习, 预测性维护算法, 流程改进, 质量管理, 风险管理, 统计分析, 以使用者為中心的設計
UNESCO Nomenclature: 1203
– Computer science
类型
抽象系统
中断
Incremental
用法
广泛使用
前体
- 社会选择理论中的阿罗不可能定理
- 统计学习理论的发展
- 法律研究中关于差别影响的早期工作
- 概率论和统计学的基础概念
应用程序
- 开发公平感知机器学习框架
- 人工智能系统的审计工具
- 人工智能伦理的政策制定和监管
- 信用评分和招聘算法中特定情境下的公平性定义设计
专利：
NA
潜在创新理念
- 上下文感知公平性优化器允许开发人员根据特定应用程序选择公平性指标并确定其优先级。
- 交互式人工智能审计平台，可实时可视化不同公平性指标之间的权衡取舍
- 具有内置可定制公平性约束的联邦学习模型
- 针对金融和医疗保健等特定行业的AI驱动型监管合规检查工具
- 模拟选择不同公平性标准的影响的教育软件
- 能够根据用户人口统计变化进行调整的动态公平感知推荐系统
- 旨在更高效地探索公平性、准确性和隐私性解决方案空间的量子算法
- a standardized ‘fairness nutrition label’ for AI models
- 用于生成同时满足多个公平性约束的合成数据的自动化系统
- 基于区块链的系统，用于透明地跟踪和审计算法决策，并对照预先约定的公平性指标进行评估。
相关概念：公平性、不可能定理、机器学习、算法偏差、人口统计平等、均等赔率、预测平等、人工智能伦理、权衡、COMPAS。
历史背景
公平性不可能定理（机器学习）
（如果日期未知或不相关，例如“流体力学”，则提供其显著出现的近似估计）
