Product Design, Manufacturing & Innovation Resources
» 算法混淆

算法混淆

2020
  • Sharad Goel
  • Ravi Shroff
  • Jennifer Skeem
  • Christopher Slobogin
数据科学家团队分析人工智能应用中的算法混淆。.

(图片仅供参考)

当……时,就会发生算法混淆。 代理人 算法使用的变量与受保护属性(例如种族或性别)以及感兴趣的结果相关。即使受保护属性本身已明确从模型的输入数据中排除,算法仍可能无意中通过使用代理变量来学习基于该受保护属性进行区分。

算法混淆是一种微妙但却影响深远的偏差来源。它的产生是因为机器学习模型非常擅长发现统计相关性,即使是虚假相关性也不例外。 虽然开发者可能会移除“种族”这类敏感特征以防止歧视,但模型却可能利用其他可作为替代指标的特征。一个典型的例子是贷款申请中使用邮政编码。由于历史上存在的居住隔离,邮政编码可能与种族高度相关。算法可能会学习到,来自某些邮政编码的申请人风险更高,这并非因为他们的居住地,而是因为这些居住地代表了历史上曾被拒绝贷款的某个种族群体,从而形成歧视的反馈循环。

这与传统的统计混淆不同,因为算法并非仅仅被误导,而是主动从数据中学习歧视性策略。识别和缓解这种情况需要的不仅仅是特征移除。它通常需要运用因果推断技术来理解变量之间的真实关系,或者使用公平感知算法,这些算法可以被约束为忽略已知代理变量的影响。挑战在于,几乎任何变量都可能在某种程度上是代理变量,这使得完全消除代理变量变得困难。

UNESCO Nomenclature: 1203
- 计算机科学

类型

抽象系统

中断

递增

用法

广泛使用

前体

  • 统计学和流行病学中的混杂变量概念
  • 差别影响的法律原则
  • 关于住房歧视和歧视性住房政策的研究
  • 机器学习分类算法的开发

应用程序

  • 对 COMPAS 等审前风险评估工具进行审计
  • 开发代理感知偏差检测方法
  • 设计避免歧视性信用评分代理的公平信用评分模型
  • 通过识别和减轻混杂变量来提高自动化招聘系统的公平性

专利:

NA

潜在创新理念

由于机器人流量被拦截(目前每天超过 4 万),此内容仅限社区成员查看。
> 登录 > 或者 > 注册 < (100% 免费)即可访问此内容,以及所有其他受限内容和工具。

相关概念:算法混淆、代理变量、差别影响、算法偏差、机器学习、公平性、歧视性政策、受保护属性、间接歧视、因果推断。

历史背景

1997-04-23
2001
2010
2020
1993
1998
2010
2016

(如果日期未知或不相关,例如“流体力学”,则提供其显著出现的近似估计)

只有注册会员才能免费获得 100% 的全尺寸图片和下载。.

> 登录 <