当……时，就会发生算法混淆。 代理人 算法使用的变量与受保护属性（例如种族或性别）以及感兴趣的结果相关。即使受保护属性本身已明确从模型的输入数据中排除，算法仍可能无意中通过使用代理变量来学习基于该受保护属性进行区分。
算法混淆
2020
- Sharad Goel
- Ravi Shroff
- Jennifer Skeem
- Christopher Slobogin
（图片仅供参考）
算法混淆是一种微妙但却影响深远的偏差来源。它的产生是因为机器学习模型非常擅长发现统计相关性，即使是虚假相关性也不例外。 虽然开发者可能会移除诸如“种族”之类的敏感特征以防止歧视，但模型可能会利用其他特征来充当…… 代理一个典型的例子是贷款申请中使用邮政编码。由于历史上存在的居住隔离，邮政编码可能与种族高度相关。算法可能会学习到，来自某些邮政编码的申请人风险更高，这并非因为他们的居住地，而是因为这些居住地代表了历史上曾被拒绝贷款的种族群体，从而形成歧视的恶性循环。
这与传统的统计混淆不同，因为算法并非仅仅被误导，而是主动从数据中学习歧视性策略。识别和缓解这种情况需要的不仅仅是特征移除。它通常需要运用因果推断技术来理解变量之间的真实关系，或者使用公平感知算法，这些算法可以被约束为忽略已知代理变量的影响。挑战在于，几乎任何变量都可能在某种程度上是代理变量，这使得完全消除代理变量变得困难。
UNESCO Nomenclature: 1203
- 计算机科学
类型
抽象系统
中断
递增
用法
广泛使用
前体
- 统计学和流行病学中的混杂变量概念
- 差别影响的法律原则
- 关于住房歧视和歧视性住房政策的研究
- 机器学习分类算法的开发
应用程序
- auditing of pre-trial 风险评估 tools like COMPAS
- 开发代理感知偏差检测方法
- 设计避免歧视性信用评分代理的公平信用评分模型
- 通过识别和减轻混杂变量来提高自动化招聘系统的公平性
专利：
NA
潜在创新理念
- 自动代理检测工具，用于扫描数据集以查找潜在的混杂变量
- 基于因果推断的机器学习模型能够将代理变量的影响与合法预测因素的影响区分开来。
- 保护隐私的算法，可最大限度地减少包含可能用作敏感属性代理的数据。
- ‘proxy-free’ data generation techniques for training fairer models
- 为企业提供专门识别和缓解算法混淆问题的咨询服务。
- 为政策制定者提供的交互式仪表盘，用于探索公共数据集中的不同变量如何作为代理变量发挥作用
- certification programs for AI systems that verify they are free from common confounding 偏见
- 可解释人工智能（XAI）方法专门用于突出潜在代理变量对模型决策的影响
- 明确界定并禁止使用已知代理变量进行歧视的法律框架
- 用于识别和报告广泛使用算法中潜在代理变量的众包平台
相关概念：算法混淆、代理变量、差别影响、算法偏差、机器学习、公平性、歧视性政策、受保护属性、间接歧视、因果推断。
历史背景
算法混淆
（如果日期未知或不相关，例如“流体力学”，则提供其显著出现的近似估计）
