문제 논문 선별 도구(Problematic Paper Screener, PPS)는 Dimensions.ai 학술 검색 엔진을 대상으로 자동화된 '지문 쿼리'를 실행하여 알려진 부정행위와 관련된 텍스트 또는 구조적 패턴을 찾아냅니다. 부정행위는 Dimensions.ai에 제출된 특정 지문 쿼리를 사용하여 자동으로 식별되며, 이후 동료 평가를 통해 의심스러운 논문의 상태를 확인하거나 반박할 수 있습니다. 공개 인터페이스를 통해 사용자는 새로운 지문을 제안할 수도 있으므로 탐지 목록은 계속해서 확장됩니다. (아래 텍스트는 위키피디아에서 발췌)
실제로 포착되는 것:
- 왜곡된 표현 — '인공적인' 대신 '가짜 신경 조직'과 같이 뒤죽박죽된 표현 신경망사기꾼들이 표절 검사기를 피하기 위해 훔친 텍스트를 동의어 바꾸기 소프트웨어에 입력할 때 생성됩니다.
- 컴퓨터로 생성된 의미 없는 글 — SCIgen이나 Mathgen 같은 무의미 생성기로 만들어진 논문으로, "많은 회의론자들이 불가능하다고 말했지만"과 같이 이러한 도구들이 항상 생성하는 고정된 문구를 통해 식별됩니다.
- ChatGPT 지문은 제출된 원고에 실수로 남겨진 AI 생성 텍스트의 흔적과 같은 여러 가지 탐지 유형을 포함합니다.
이 도구의 실적을 살펴보면, 1,000건 이상의 논문 철회에 중요한 역할을 했으며, 일부 출판사에서는 문제가 있는 논문을 사전에 걸러내기 위해 편집 워크플로에 직접 통합하기도 했습니다. 출판 이후가 아니라 그 이전에 이루어졌습니다. 이는 2021년 네이처(Nature)에서 과학 분야의 10대 핵심 발전 중 하나로 선정되었습니다. 또한, 12,000건 이상의, 표시되었지만 아직 철회되지 않은 논문들이 시그널스(Signals)라는 별도의 도구에 통합되었는데, 이 논문들은 총 16만 회 이상 인용되었습니다. 이는 표시되었지만 철회되지 않은 부정행위가 공식적인 조치가 취해지기 전까지 얼마나 오랫동안 유포되고 다른 연구에 영향을 미칠 수 있는지를 보여줍니다.
이 시스템은 인간의 편집 판단을 대체하는 것은 아니지만, 인간이 대규모로 수행할 수 없는 한 가지 작업을 해냅니다. 바로 수천만 건의 문서를 지속적으로 스캔하여 부정행위 흔적을 찾아내고, 의심스러운 문서를 선별하여 사람이 직접 검토할 수 있도록 하는 것입니다.
