Product Design, Manufacturing & Innovation Resources
» 알고리즘적 혼란

알고리즘적 혼란

2020
  • Sharad Goel
  • Ravi Shroff
  • Jennifer Skeem
  • Christopher Slobogin
AI 애플리케이션의 알고리즘 혼동을 분석하는 데이터 과학자 팀.

(설명을 위한 생성된 이미지입니다)

알고리즘적 혼란은 다음과 같은 경우에 발생합니다. 대리 알고리즘에서 사용되는 변수는 인종이나 성별과 같은 보호 대상 속성뿐만 아니라 관심 결과와도 상관관계가 있습니다. 보호 대상 속성 자체가 모델의 입력 데이터에서 명시적으로 제외되었더라도, 알고리즘은 대리 변수를 사용함으로써 의도치 않게 해당 보호 대상 속성을 기반으로 차별하는 법을 학습할 수 있습니다.

알고리즘적 교란은 미묘하지만 강력한 편향의 원인입니다. 이는 머신러닝 모델이 통계적 상관관계, 심지어 허위 상관관계까지도 찾아내는 데 매우 뛰어나기 때문에 발생합니다. While a developer might remove a sensitive feature like ‘race’ to prevent discrimination, the model can latch onto other features that act as proxies. A classic example is the use of ZIP codes in loan applications. Due to historical residential segregation, ZIP codes can be highly correlated with race. An algorithm might learn that applicants from certain ZIP codes are higher risk, not because of their location, but because the location is a proxy for a racial group that has historically been denied loans, creating a feedback loop of discrimination.

이는 알고리즘이 단순히 잘못된 정보에 현혹되는 것이 아니라, 데이터로부터 차별적인 정책을 적극적으로 학습한다는 점에서 기존의 통계적 교란 요인과는 구별됩니다. 이러한 문제를 식별하고 완화하려면 단순히 특징을 제거하는 것 이상의 노력이 필요합니다. 변수 간의 진정한 관계를 파악하기 위한 인과 추론 기법이나, 알려진 대리 변수의 영향을 무시하도록 제약할 수 있는 공정성 인식 알고리즘을 사용하는 경우가 많습니다. 문제는 거의 모든 변수가 어느 정도 대리 변수의 역할을 할 수 있다는 점이며, 이 때문에 완전한 제거가 어렵다는 것입니다.

UNESCO Nomenclature: 1203
컴퓨터 과학

유형

추상 시스템

분열

점진적

용법

널리 사용됨

전구체

  • 통계학 및 역학에서 교란변수의 개념
  • 차별적 영향에 관한 법률 이론
  • 레드라이닝과 주택 차별에 관한 연구
  • 머신러닝 분류 알고리즘 개발

응용 프로그램

  • COMPAS와 같은 재판 전 위험 평가 도구에 대한 감사
  • 프록시 인식 편향 탐지 방법 개발
  • 차별적 대리 지표를 피하는 공정한 신용 평가 모델 설계
  • 자동화된 채용 시스템의 공정성을 향상시키기 위해 교란 변수를 식별하고 완화하는 방법

특허:

NA

잠재적 혁신 아이디어

현재 하루 4만 건이 넘는 봇 트래픽을 차단하기 위해 이 콘텐츠는 커뮤니티 회원만 이용할 수 있습니다.
> 로그인 < 또는 >등록 < 이 콘텐츠를 비롯한 모든 제한된 콘텐츠와 도구는 (100% 무료로) 이용할 수 있습니다.

관련 개념: 알고리즘적 혼란, 대리 변수, 불균형적 영향, 알고리즘적 편향, 기계 학습, 공정성, 레드라이닝, 보호 대상 속성, 간접 차별, 인과 추론.

역사적 맥락

알고리즘적 혼란

1997-04-23
2001
2010
2020
1993
1998
2010
2016

(날짜를 알 수 없거나 관련이 없는 경우, 예를 들어 "유체역학"의 경우, 주목할 만한 등장 시기를 대략적으로 추정하여 제공합니다.)

관련 발명, 혁신 및 기술 원칙

고화질 이미지 및 다운로드는 등록된 회원에게만 100% 무료로 제공됩니다.

> 로그인 <