アルゴリズムの混同は、 プロキシ アルゴリズムで使用される変数は、保護対象属性（人種や性別など）および関心のある結果と相関関係にある。保護対象属性自体がモデルの入力データから明示的に除外されている場合でも、アルゴリズムはプロキシを使用することで、意図せず保護対象属性に基づいて差別することを学習してしまう可能性がある。
アルゴリズムの交絡
2020
- Sharad Goel
- Ravi Shroff
- Jennifer Skeem
- Christopher Slobogin
（画像はイメージです）
アルゴリズムによる交絡は、微妙ながらも強力なバイアスの原因となる。これは、機械学習モデルが、たとえ見せかけの相関関係であっても、統計的な相関関係を見つけるのに非常に優れているために生じる。 開発者は差別を防ぐために「人種」のようなセンシティブな機能を削除するかもしれないが、モデルは他の機能に固執する可能性がある。 プロキシ典型的な例として、ローン申請における郵便番号の利用が挙げられます。歴史的な居住地の分離により、郵便番号は人種と高い相関関係を持つことがあります。アルゴリズムは、特定の郵便番号の申請者はリスクが高いと学習する可能性がありますが、それは申請者の居住地そのものによるものではなく、その居住地が歴史的にローンを拒否されてきた人種グループの代理指標となっているためであり、結果として差別の悪循環が生じるのです。
これは従来の統計的交絡とは異なり、アルゴリズムが単に誤った方向に導かれているのではなく、データから差別的な方針を積極的に学習しているという点で特徴的です。これを特定して軽減するには、単に特徴量を削除するだけでは不十分です。多くの場合、変数間の真の関係を理解するための因果推論手法、または既知の代理変数の影響を無視するように制約できる公平性を考慮したアルゴリズムの使用が必要となります。課題は、ほぼすべての変数が何らかの形で代理変数になり得るため、完全な排除が難しいという点にあります。
UNESCO Nomenclature: 1203
コンピュータサイエンス
タイプ
抽象システム
混乱
増分
使用法
広く普及している
前駆物質
- 統計学および疫学における交絡変数の概念
- 差別的影響の法的原則
- レッドライニングと住宅差別に関する研究
- 機械学習分類アルゴリズムの開発
アプリケーション
- auditing of pre-trial risk assessment tools like COMPAS
- 代理変数を考慮したバイアス検出方法の開発
- レッドライニングの代理指標を回避する公正な信用スコアリングモデルの設計
- 交絡変数を特定し軽減することにより、自動採用システムの公平性を向上させる
特許:
NA
潜在的なイノベーションのアイデア
- automated proxy detection tools that scan datasets for potential confounding variables
- causal inference-based machine learning models that can disentangle the effects of proxies from legitimate predictive factors
- privacy-preserving algorithms that minimize the inclusion of data that could serve as proxies for sensitive attributes
- ‘proxy-free’ data generation techniques for training fairer models
- consulting services specializing in identifying and mitigating algorithmic confounding for businesses
- interactive dashboards for policymakers to explore how different variables in public datasets might act as proxies
- certification programs for AI systems that verify they are free from common confounding 完了すると、友人のプレイヤー B に起因する報酬を含む電子メールまたはプッシュ通知がプレイヤー A に送信されます。
- explainable AI (XAI) methods specifically designed to highlight the influence of potential proxy variables on model decisions
- legal frameworks that explicitly define and prohibit the use of known proxy variables for discrimination
- crowdsourced platforms for identifying and reporting potential proxy variables in widely used algorithms
関連キーワード：アルゴリズムの交絡、代理変数、不均衡な影響、アルゴリズムの偏り、機械学習、公平性、レッドライニング、保護対象属性、間接差別、因果推論。
歴史的背景
アルゴリズムの交絡
（日付が不明または関連性がない場合、例えば「流体力学」などでは、その注目すべき出現時期の概算値が提示されます。）
