Product Design, Manufacturing & Innovation Resources
» 偏见缓解处理阶段

偏见缓解处理阶段

2010
数据科学家合作研究人工智能中的偏见缓解技术。.

(图片仅供参考)

根据模型训练过程,算法偏差缓解技术可分为三个主要阶段。预处理方法直接修改训练数据本身(例如,重加权、重采样)。训练中方法将公平性约束直接融入模型的学习算法中。后处理方法在模型做出预测后对其进行调整,以提高预测的公平性。

这种三部分分类提供了一个结构化的框架来解决偏差问题。预处理以数据为中心,旨在模型处理数据之前创建一个“公平”的数据集。诸如重加权之类的技术会为数据点赋予不同的权重以抵消不平衡,而过采样/欠采样则会调整来自不同组的实例数量。这种方法与模型无关,但可能会改变数据的潜在分布。

处理中优化是以模型为中心的。它修改学习算法的目标函数,加入一个惩罚项来应对不公平性。例如,模型可以优化为最大化准确率,同时最小化不同组之间的错误率差异。这可以带来更集成的解决方案,但需要修改核心算法,从而降低了其灵活性。

后处理以预测为中心。它获取已训练但可能存在偏差的模型的输出,并对其进行调整以满足公平性标准。这可能涉及更改不同群体的分类阈值。由于它将模型视为黑箱,因此它是侵入性最小的方法,但可能会降低整体效用,并且显得不够严谨。阶段的选择取决于多种因素,例如能否访问训练数据、能否修改模型以及具体的公平性目标。

UNESCO Nomenclature: 1203
- 计算机科学

类型

抽象系统

中断

重大的

用法

广泛使用

前体

  • 机器学习中处理不平衡数据集的技术
  • 数学中的约束优化方法
  • 制定公平性指标以作为目标或约束条件
  • 机器学习领域整体发展

应用程序

  • IBM 的 AIF360 工具包实现了所有这三类算法。
  • 谷歌的“假设分析工具”,允许探索模型行为和公平性
  • fairlearn,一个用于评估和改进公平性的开源Python软件包
  • 提供内置偏见检测和缓解功能的商业人工智能平台

专利:

NA

潜在创新理念

由于机器人流量被拦截(目前每天超过 4 万),此内容仅限社区成员查看。
> 登录 > 或者 > 注册 < (100% 免费)即可访问此内容,以及所有其他受限内容和工具。

相关术语:偏差缓解、预处理、处理中、后处理、公平机器学习、重新加权、重采样、公平性约束、算法公平性、人工智能伦理。

历史背景

1993
1997-04-23
2001
2010
2020
1990
1993
1998
2010
2016

(如果日期未知或不相关,例如“流体力学”,则提供其显著出现的近似估计)

相关发明、创新和技术原理

只有注册会员才能免费获得 100% 的全尺寸图片和下载。.

> 登录 <