Product Design, Manufacturing & Innovation Resources
घर » एल्गोरिथम संबंधी भ्रम

एल्गोरिथम संबंधी भ्रम

2020
  • Sharad Goel
  • Ravi Shroff
  • Jennifer Skeem
  • Christopher Slobogin
डेटा वैज्ञानिकों की टीम एआई अनुप्रयोगों में एल्गोरिद्मिक कन्फौंडिंग का विश्लेषण कर रही है।.

(यह छवि केवल उदाहरण के लिए बनाई गई है)

Algorithmic confounding occurs when a प्रॉक्सी variable used by an algorithm is correlated with a protected attribute (like race or gender) and also with the outcome of interest. The algorithm may inadvertently learn to discriminate based on the protected attribute by using the proxy, even if the protected attribute itself is explicitly excluded from the model’s input data.

एल्गोरिथम संबंधी भ्रम एक सूक्ष्म लेकिन शक्तिशाली पूर्वाग्रह का स्रोत है। यह इसलिए उत्पन्न होता है क्योंकि मशीन लर्निंग मॉडल सांख्यिकीय सहसंबंधों को खोजने में असाधारण रूप से कुशल होते हैं, यहां तक ​​कि भ्रामक सहसंबंधों को भी। हालांकि कोई डेवलपर भेदभाव को रोकने के लिए 'नस्ल' जैसी संवेदनशील विशेषता को हटा सकता है, लेकिन मॉडल अन्य विशेषताओं को पकड़ सकता है जो अप्रत्यक्ष रूप से भेदभाव का संकेत देती हैं। इसका एक उत्कृष्ट उदाहरण ऋण आवेदनों में ज़िप कोड का उपयोग है। ऐतिहासिक आवासीय अलगाव के कारण, ज़िप कोड नस्ल से अत्यधिक संबंधित हो सकते हैं। एक एल्गोरिदम यह सीख सकता है कि कुछ ज़िप कोड से आने वाले आवेदक अधिक जोखिम वाले हैं, न कि उनके स्थान के कारण, बल्कि इसलिए कि स्थान एक ऐसे नस्लीय समूह का संकेत है जिसे ऐतिहासिक रूप से ऋण देने से इनकार किया गया है, जिससे भेदभाव का एक दुष्चक्र बन जाता है।

This is distinct from traditional statistical confounding because the algorithm isn’t just being misled; it’s actively learning a discriminatory policy from the data. Identifying and mitigating this requires more than just feature removal. It often involves causal inference techniques to understand the true relationships between variables, or the use of fairness-aware algorithms that can be constrained to ignore the influence of known proxies. The challenge lies in the fact that almost any variable can be a proxy to some extent, making complete elimination difficult.

UNESCO Nomenclature: 1203
कंप्यूटर विज्ञान

Type

सार प्रणाली

व्यवधान

इंक्रीमेंटल

उपयोग

व्यापक उपयोग

शगुन

  • सांख्यिकी और महामारी विज्ञान में भ्रमित करने वाले चरों की अवधारणा
  • असमान प्रभाव का कानूनी सिद्धांत
  • रेडलाइनिंग और आवास भेदभाव पर शोध
  • मशीन लर्निंग वर्गीकरण एल्गोरिदम का विकास

आवेदन

  • COMPAS जैसे पूर्व-परीक्षण जोखिम मूल्यांकन उपकरणों का ऑडिट करना
  • प्रॉक्सी-जागरूक पूर्वाग्रह पहचान विधियों का विकास
  • निष्पक्ष क्रेडिट स्कोरिंग मॉडल का डिज़ाइन जो रेडलाइनिंग प्रॉक्सी से बचता है
  • भ्रमित करने वाले कारकों की पहचान और उन्हें कम करके स्वचालित भर्ती प्रणालियों में निष्पक्षता में सुधार करना।

पेटेंट:

NA

संभावित नवाचार विचार

बॉट ट्रैफिक को कम करने के कारण, जो वर्तमान में प्रति दिन 40,000 से अधिक है, यह सामग्री केवल समुदाय के सदस्यों के लिए आरक्षित है।
> लॉगिन < या > रजिस्टर < इस सामग्री और अन्य सभी प्रतिबंधित सामग्रियों और उपकरणों तक पहुंच (100% निःशुल्क) है।

Related to: algorithmic confounding, proxy variable, disparate impact, algorithmic bias, machine learning, fairness, redlining, protected attributes, indirect discrimination, causal inference.

ऐतिहासिक संदर्भ

एल्गोरिथम संबंधी भ्रम

1997-04-23
2001
2010
2020
1993
1998
2010
2016

(यदि तिथि अज्ञात है या प्रासंगिक नहीं है, उदाहरण के लिए "द्रव यांत्रिकी", तो इसके उल्लेखनीय उद्भव का एक अनुमानित आंकड़ा प्रदान किया गया है)

शीर्ष पोस्ट और लेख

शीर्ष मूल उपकरण

पंजीकृत सदस्यों के लिए पूर्ण आकार की छवियाँ और डाउनलोड 100% निःशुल्क उपलब्ध हैं।