Product Design, Manufacturing & Innovation Resources
بيت » التشويش الخوارزمي

التشويش الخوارزمي

2020
  • Sharad Goel
  • Ravi Shroff
  • Jennifer Skeem
  • Christopher Slobogin
فريق من علماء البيانات يحللون الارتباك الخوارزمي في تطبيقات الذكاء الاصطناعي.

(صورة توضيحية فقط)

Algorithmic confounding occurs when a الوكيل variable used by an algorithm is correlated with a protected attribute (like race or gender) and also with the outcome of interest. The algorithm may inadvertently learn to discriminate based on the protected attribute by using the proxy, even if the protected attribute itself is explicitly excluded from the model’s input data.

Algorithmic confounding is a subtle but powerful source of bias. It arises because machine learning models are exceptionally good at finding statistical correlations, even spurious ones. بينما قد يقوم مطور بإزالة ميزة حساسة مثل "العرق" لمنع التمييز، إلا أن النموذج قد يعتمد على ميزات أخرى تعمل كبدائل. ومن الأمثلة الكلاسيكية على ذلك استخدام الرموز البريدية في طلبات القروض. فبسبب الفصل السكني التاريخي، قد ترتبط الرموز البريدية ارتباطًا وثيقًا بالعرق. وقد تتعلم الخوارزمية أن المتقدمين من رموز بريدية معينة أكثر عرضة للمخاطر، ليس بسبب موقعهم، بل لأن الموقع يمثل فئة عرقية رُفضت طلبات قروضها تاريخيًا، مما يخلق حلقة مفرغة من التمييز.

عالم الابتكار

UNESCO Nomenclature: 1203
- علوم الحاسب الآلي

يكتب

نظام مجرد

خلل

تزايدي

الاستخدام

استخدام واسع النطاق

مقدمات

  • concept of confounding variables in statistics and epidemiology
  • legal doctrine of disparate impact
  • research on redlining and housing discrimination
  • development of machine learning classification algorithms

التطبيقات

  • auditing of pre-trial risk assessment tools like COMPAS
  • development of proxy-aware bias detection methods
  • design of fair credit scoring models that avoid redlining proxies
  • improving fairness in automated hiring systems by identifying and mitigating confounding variables

براءات الاختراع:

NA

أفكار ابتكارية محتملة

بسبب عمليات جمع البيانات من خلال برامج الروبوت، والتي تتجاوز حاليًا 40 ألفًا يوميًا، فإن هذا المحتوى مخصص لأعضاء المجتمع فقط.
> تسجيل الدخول < أو > سجل < (مجاني 100٪) للوصول إلى هذا، وكذلك جميع المحتويات والأدوات الأخرى المقيدة.

Related to: algorithmic confounding, proxy variable, disparate impact, algorithmic bias, machine learning, fairness, redlining, protected attributes, indirect discrimination, causal inference.

السياق التاريخي

التشويش الخوارزمي

1997-04-23
2001
2010
2020
1993
1998
2010
2016

(إذا كان التاريخ غير معروف أو غير ذي صلة، على سبيل المثال "ميكانيكا الموائع"، يتم توفير تقدير تقريبي لظهوره الملحوظ)

الصور بالحجم الكامل والتنزيلات متاحة فقط 100% مجاناً للأعضاء المسجلين.