Product Design, Manufacturing & Innovation Resources
بيت » التشويش الخوارزمي

التشويش الخوارزمي

2020
  • Sharad Goel
  • Ravi Shroff
  • Jennifer Skeem
  • Christopher Slobogin
فريق من علماء البيانات يحللون الارتباك الخوارزمي في تطبيقات الذكاء الاصطناعي.

(صورة تم إنشاؤها للتوضيح فقط)

Algorithmic confounding occurs when a الوكيل variable used by an algorithm is correlated with a protected attribute (like race or gender) and also with the outcome of interest. The algorithm may inadvertently learn to discriminate based on the protected attribute by using the proxy, even if the protected attribute itself is explicitly excluded from the model’s input data.

Algorithmic confounding is a subtle but powerful source of bias. It arises because machine learning models are exceptionally good at finding statistical correlations, even spurious ones. While a developer might remove a sensitive feature like ‘race’ to prevent discrimination, the model can latch onto other features that act as proxies. A classic example is the use of ZIP codes in loan applications. Due to historical residential segregation, ZIP codes can be highly correlated with race. An algorithm might learn that applicants from certain ZIP codes are higher risk, not because of their location, but because the location is a proxy for a racial group that has historically been denied loans, creating a feedback loop of discrimination.

عالم الابتكار

UNESCO Nomenclature: 1203
- علوم الحاسب الآلي

يكتب

النظام التجريدي

الاضطراب

تزايدي

الاستخدام

الاستخدام الواسع النطاق

السلائف

  • concept of confounding variables in statistics and epidemiology
  • legal doctrine of disparate impact
  • research on redlining and housing discrimination
  • development of machine learning classification algorithms

التطبيقات

  • auditing of pre-trial risk assessment tools like COMPAS
  • development of proxy-aware bias detection methods
  • design of fair credit scoring models that avoid redlining proxies
  • improving fairness in automated hiring systems by identifying and mitigating confounding variables

براءات الاختراع:

NA

أفكار ابتكارات محتملة

بسبب عمليات جمع البيانات من خلال برامج الروبوت، والتي تتجاوز حاليًا 40 ألفًا يوميًا، فإن هذا المحتوى مخصص لأعضاء المجتمع فقط.
> تسجيل الدخول < أو > سجل < (مجاني 100٪) للوصول إلى هذا، وكذلك جميع المحتويات والأدوات الأخرى المقيدة.

Related to: algorithmic confounding, proxy variable, disparate impact, algorithmic bias, machine learning, fairness, redlining, protected attributes, indirect discrimination, causal inference.

السياق التاريخي

التشويش الخوارزمي

1997-04-23
2001
2010
2020
1993
1998
2010
2016

(إذا كان التاريخ غير معروف أو غير ذي صلة، على سبيل المثال "ميكانيكا الموائع"، يتم توفير تقدير تقريبي لظهوره الملحوظ)

الاختراع والابتكار والمبادئ التقنية ذات الصلة

الصور بالحجم الكامل والتنزيلات متاحة فقط 100% مجاناً للأعضاء المسجلين.