Product Design, Manufacturing & Innovation Resources
घर » एल्गोरिथम संबंधी भ्रम

एल्गोरिथम संबंधी भ्रम

2020
  • Sharad Goel
  • Ravi Shroff
  • Jennifer Skeem
  • Christopher Slobogin
डेटा वैज्ञानिकों की टीम एआई अनुप्रयोगों में एल्गोरिद्मिक कन्फौंडिंग का विश्लेषण कर रही है।.

(यह छवि केवल उदाहरण के लिए बनाई गई है)

Algorithmic confounding occurs when a प्रॉक्सी variable used by an algorithm is correlated with a protected attribute (like race or gender) and also with the outcome of interest. The algorithm may inadvertently learn to discriminate based on the protected attribute by using the proxy, even if the protected attribute itself is explicitly excluded from the model’s input data.

एल्गोरिथम संबंधी भ्रम एक सूक्ष्म लेकिन शक्तिशाली पूर्वाग्रह का स्रोत है। यह इसलिए उत्पन्न होता है क्योंकि मशीन लर्निंग मॉडल सांख्यिकीय सहसंबंधों को खोजने में असाधारण रूप से कुशल होते हैं, यहां तक ​​कि भ्रामक सहसंबंधों को भी। While a developer might remove a sensitive feature like ‘race’ to prevent discrimination, the model can latch onto other features that act as proxies. A classic example is the use of ZIP codes in loan applications. Due to historical residential segregation, ZIP codes can be highly correlated with race. An algorithm might learn that applicants from certain ZIP codes are higher risk, not because of their location, but because the location is a proxy for a racial group that has historically been denied loans, creating a feedback loop of discrimination.

This is distinct from traditional statistical confounding because the algorithm isn’t just being misled; it’s actively learning a discriminatory policy from the data. Identifying and mitigating this requires more than just feature removal. It often involves causal inference techniques to understand the true relationships between variables, or the use of fairness-aware algorithms that can be constrained to ignore the influence of known proxies. The challenge lies in the fact that almost any variable can be a proxy to some extent, making complete elimination difficult.

UNESCO Nomenclature: 1203
कंप्यूटर विज्ञान

Type

सार प्रणाली

व्यवधान

इंक्रीमेंटल

उपयोग

व्यापक उपयोग

शगुन

  • सांख्यिकी और महामारी विज्ञान में भ्रमित करने वाले चरों की अवधारणा
  • असमान प्रभाव का कानूनी सिद्धांत
  • रेडलाइनिंग और आवास भेदभाव पर शोध
  • मशीन लर्निंग वर्गीकरण एल्गोरिदम का विकास

आवेदन

  • COMPAS जैसे पूर्व-परीक्षण जोखिम मूल्यांकन उपकरणों का ऑडिट करना
  • प्रॉक्सी-जागरूक पूर्वाग्रह पहचान विधियों का विकास
  • निष्पक्ष क्रेडिट स्कोरिंग मॉडल का डिज़ाइन जो रेडलाइनिंग प्रॉक्सी से बचता है
  • भ्रमित करने वाले कारकों की पहचान और उन्हें कम करके स्वचालित भर्ती प्रणालियों में निष्पक्षता में सुधार करना।

पेटेंट:

NA

संभावित नवाचार विचार

बॉट ट्रैफिक को कम करने के कारण, जो वर्तमान में प्रति दिन 40,000 से अधिक है, यह सामग्री केवल समुदाय के सदस्यों के लिए आरक्षित है।
> लॉगिन < या > रजिस्टर < इस सामग्री और अन्य सभी प्रतिबंधित सामग्रियों और उपकरणों तक पहुंच (100% निःशुल्क) है।

Related to: algorithmic confounding, proxy variable, disparate impact, algorithmic bias, machine learning, fairness, redlining, protected attributes, indirect discrimination, causal inference.

ऐतिहासिक संदर्भ

एल्गोरिथम संबंधी भ्रम

1997-04-23
2001
2010
2020
1993
1998
2010
2016

(यदि तिथि अज्ञात है या प्रासंगिक नहीं है, उदाहरण के लिए "द्रव यांत्रिकी", तो इसके उल्लेखनीय उद्भव का एक अनुमानित आंकड़ा प्रदान किया गया है)

शीर्ष पोस्ट और लेख

शीर्ष मूल उपकरण

पंजीकृत सदस्यों के लिए पूर्ण आकार की छवियाँ और डाउनलोड 100% निःशुल्क उपलब्ध हैं।