Product Design, Manufacturing & Innovation Resources
» アルゴリズムの交絡

アルゴリズムの交絡

2020
  • Sharad Goel
  • Ravi Shroff
  • Jennifer Skeem
  • Christopher Slobogin
AIアプリケーションにおけるアルゴリズムの交絡を分析するデータサイエンティストのチーム。.

(画像はイメージです)

アルゴリズムの混同は、 プロキシ アルゴリズムで使用される変数は、保護対象属性(人種や性別など)および関心のある結果と相関関係にある。保護対象属性自体がモデルの入力データから明示的に除外されている場合でも、アルゴリズムはプロキシを使用することで、意図せず保護対象属性に基づいて差別することを学習してしまう可能性がある。

アルゴリズムによる交絡は、微妙ながらも強力なバイアスの原因となる。これは、機械学習モデルが、たとえ見せかけの相関関係であっても、統計的な相関関係を見つけるのに非常に優れているために生じる。 While a developer might remove a sensitive feature like ‘race’ to prevent discrimination, the model can latch onto other features that act as proxies. A classic example is the use of ZIP codes in loan applications. Due to historical residential segregation, ZIP codes can be highly correlated with race. An algorithm might learn that applicants from certain ZIP codes are higher risk, not because of their location, but because the location is a proxy for a racial group that has historically been denied loans, creating a feedback loop of discrimination.

これは従来の統計的交絡とは異なり、アルゴリズムが単に誤った方向に導かれているのではなく、データから差別的な方針を積極的に学習しているという点で特徴的です。これを特定して軽減するには、単に特徴量を削除するだけでは不十分です。多くの場合、変数間の真の関係を理解するための因果推論手法、または既知の代理変数の影響を無視するように制約できる公平性を考慮したアルゴリズムの使用が必要となります。課題は、ほぼすべての変数が何らかの形で代理変数になり得るため、完全な排除が難しいという点にあります。

UNESCO Nomenclature: 1203
コンピュータサイエンス

タイプ

抽象システム

混乱

増分

使用法

広く普及している

前駆物質

  • 統計学および疫学における交絡変数の概念
  • 差別的影響の法的原則
  • レッドライニングと住宅差別に関する研究
  • 機械学習分類アルゴリズムの開発

アプリケーション

  • COMPASなどの公判前リスク評価ツールの監査
  • 代理変数を考慮したバイアス検出方法の開発
  • レッドライニングの代理指標を回避する公正な信用スコアリングモデルの設計
  • 交絡変数を特定し軽減することにより、自動採用システムの公平性を向上させる

特許:

NA

潜在的なイノベーションのアイデア

ボットによるトラフィック(現在1日あたり4万件以上)を排除するため、このコンテンツはコミュニティメンバー限定となっています。
> ログイン < または > 登録 < (100%無料)でこれにアクセスできます。他のすべての制限付きコンテンツとツールも同様です。

関連キーワード:アルゴリズムの交絡、代理変数、不均衡な影響、アルゴリズムの偏り、機械学習、公平性、レッドライニング、保護対象属性、間接差別、因果推論。

歴史的背景

アルゴリズムの交絡

1997-04-23
2001
2010
2020
1993
1998
2010
2016

(日付が不明または関連性がない場合、例えば「流体力学」などでは、その注目すべき出現時期の概算値が提示されます。)

関連する発明、革新、および技術原理

フルサイズの画像とダウンロードは、登録会員のみが100%無料で利用できます。