인터넷상의 모든 웹사이트 정보의 질과 정확성을 평가하는 단일하고 보편적으로 인정되는 '종합 지표'는 존재하지 않습니다. 정보에 대한 신용 점수와 같은 것은 없습니다. 대신 언론인, 사서, 학자, 검색 엔진 등이 구축한 다양한 서비스들이 조각조각 모여 '신뢰도'를 측정합니다. 어떤 서비스는 전체 출판물을 평가하고, 어떤 서비스는 개별 주장을 평가하며, 어떤 서비스는 매체가 아닌 저자를 평가하고, 또 어떤 서비스는 존재를 추측할 수밖에 없는 보이지 않는 알고리즘을 사용합니다. 이러한 서비스들을 함께 사용하면 상당히 견고한 삼각측량 시스템을 구축할 수 있습니다. 하지만 어느 하나만으로는 잘못된 정보를 얻을 수 있습니다.
조사관들은 동일한 검증 습관을 적용합니다. OSINT techniques, cross-checking each claim against several independent public sources before trusting it. Open source intelligence techniques also rely on fact-checking sites like this one to confirm quotes, images and statistics.
다음 사항에 의존하기 전에 유의사항과 경고를 드립니다.
아래의 모든 도구는 해당 도구를 개발한 기관의 판단, 방법론, 그리고 경우에 따라서는 자금 출처를 반영합니다. MBFC나 Ad Fontes와 같은 편향 및 정확도 평가 기관조차도 정치 스펙트럼 전반에 걸쳐 편향성 논란에 휩싸여 있습니다. 크라우드소싱 시스템은 조작되거나 조직적으로 이용될 수 있습니다. 임팩트 팩터나 h-인덱스와 같은 계량서지학적 점수는 인용 활동을 측정할 뿐 정확성을 측정하는 것은 아닙니다. 자주 인용되는 논문이라도 틀릴 수 있고, 특정 분야 저널에 실린 정확한 논문이라도 낮은 점수를 받을 수 있습니다. 심지어 구글의 EEAT조차 투명하고 검증 가능한 공식이 아닙니다. 이는 추론에 기반합니다. 특허 출원유출된 문서와 구글 자체의 모호한 지침 등이 그 예입니다.
아래의 모든 점수는 하나의 데이터 포인트일 뿐, 최종적인 판단으로 받아들이지 마십시오. 출처의 신뢰성을 판단하기 전에 최소 두 개 이상의 독립적인 도구(가급적이면 서로 다른 범주의 도구)를 교차 검증하고, 자동 점수가 원자료에 대한 본인의 판단을 완전히 대체하도록 해서는 안 됩니다.
더 자세히 설명드리자면, 아래 저희가 선정한 도구들조차도 논쟁의 여지가 있으며, 각 도구에 대한 장단점과 의견 또한 마찬가지입니다! 여러분의 의견, 변경 제안, 또는 저희가 미처 알지 못했거나 언급하지 못한 다른 도구에 대한 제안도 환영합니다. 여기 <.
요컨대, 저희가 제시한 '단점'이나 의견에도 불구하고, 여기에 나열된 도구/사이트는 여러분의 목적에 부합하는지 확인해 볼 가치가 있다고 생각했습니다.
핵심 요약
- 온라인상에서 무엇이 진실인지 결정하는 단일 기관은 없습니다. 주장을 신뢰하기 전에 항상 최소 두 개 이상의 독립적인 출처를 통해 교차 확인하세요.
- 언론사 수준 평가자와 주장 수준 사실 확인자는 서로 다른 역할을 수행합니다. '신뢰할 수 있는' 출처라도 허위 주장을 하나 게재할 수 있으며, 그 반대의 경우도 마찬가지입니다.
- 인용 지표는 정확성이 아닌 명성을 측정합니다. 인용 횟수가 많은 논문이라도 틀렸거나 나중에 철회될 수 있습니다.
- 학술 출판계에서 논문 조작과 사기가 급증하고 있습니다. 논문을 신뢰하기 전에 항상 철회 데이터베이스를 통해 확인하십시오.
- 바이럴 현상은 진실의 지표가 아닙니다. 콘텐츠는 사실적 정확성보다는 감정적 영향에 따라 확산됩니다.
- 모든 평가 도구는 제작자의 방법론을 반영합니다. biases점수를 판단이 아닌 하나의 데이터 포인트로 간주하십시오.
- 투명성은 가장 강력한 신뢰의 신호입니다. 자금 출처, 저자 정보, 수정 정책을 공개하는 자료를 선호하십시오.
- 맥락이 신뢰성을 결정합니다. 동일한 출처라도 한 주장에 대해서는 신뢰할 수 있지만 다른 주장에 대해서는 신뢰할 수 없을 수 있습니다.
- 수동 판단은 여전히 중요합니다. 데이터베이스가 없는 소스의 경우 CRAAP와 같은 프레임워크가 여전히 필수적입니다.
- 속도를 늦추는 것이 어떤 도구보다 효과적입니다. 정보를 공유하기 전에 잠시 멈추는 것은 어떤 팩트체커보다 더 많은 잘못된 정보의 확산을 막습니다.
- 보너스 기본 팁: 웹사이트가 스스로에 대해 주장하는 내용(예: "우리는 1위입니다")을 맹목적으로 신뢰하지 마세요.
팁: 이러한 도구 중 일부는 저희 웹사이트에서 직접 찾으실 수 있습니다. 온라인 도구 데이터베이스 <, '네트워크' 섹션이나 'OSINT' 섹션 중 하나에 있습니다.
매장 수준 신뢰도 평가자
이러한 도구는 웹사이트 전체를 평가하거나 출판 특정 기사 하나가 아니라, 해당 기관의 과거 실적, 소유권 구조, 편집 관행 등을 살펴보는 것입니다.
뉴스 가드훈련된 언론인(알고리즘이 아닌)을 고용하여 미국, 영국, 캐나다, 독일, 프랑스, 이탈리아, 오스트리아, 호주, 뉴질랜드 전역에서 온라인으로 소비되고 공유되는 모든 뉴스 및 정보의 약 95%를 담당하는 35,000개 이상의 뉴스 매체를 평가하는 상업용 평가 서비스입니다. 각 웹사이트는 9가지 비정치적 기준에 따라 0점에서 100점까지 점수가 매겨지며, 각 기준은 서로 다른 가중치를 갖습니다. 점수는 해당 매체가 허위 또는 심각하게 오해의 소지가 있는 콘텐츠를 반복적으로 게시하는지, 오류를 수정하는지, 소유권을 공개하는지 등을 종합적으로 평가하여 결정됩니다. 결과는 '영양 성분표' 형태로 표시되며, 브라우저 확장 프로그램이 설치된 경우 검색 엔진과 소셜 미디어 링크 옆에 방패 아이콘으로 표시됩니다. 이는 녹색, 빨간색, 풍자 또는 플랫폼 등급으로 나타납니다. NewsGuard의 분석가들은 부정적인 등급을 발표하기 전에 해당 매체에 연락하여 의견을 구하고 문제를 해결하거나 답변할 기회를 제공하며, 해당 답변은 등급과 함께 공개됩니다. 특징: 이 기준은 풍자를 '가짜 뉴스'와 명확하게 구분하며, 유머 또는 풍자 사이트는 9가지 기준에 따라 점수를 매기는 대신 별도의 명칭으로 분류됩니다.
다음과 같은 경우에 가장 적합합니다: 일상적인 뉴스를 읽을 때 브라우저 수준에서 빠르게 신뢰도를 확인할 수 있는 지표이며, 웹사이트의 소유주와 자금 출처를 파악하는 데에도 유용합니다. | 미디어 편향/사실 확인(MBFC)10,000개 이상의 언론 매체, 기자, 정치인 및 국가 정보를 포함하는 독립적이고 무료이며 검색 가능한 데이터베이스입니다. 각 언론 매체를 정치적 편향성(좌파~우파)과 사실 정확성(매우 높음~낮음)이라는 두 가지 축을 기준으로 평가하고, 다음과 같은 분류 범주를 유지합니다. 가짜 뉴스풍자, 극단적 편향, 음모론, 루머, 시사 뉴스, 사이비 과학, 혐오 뉴스, 클릭 유도성 제목, 주의 필요, 정치적 내용, 신뢰성. 특징: 이 매체는 대규모 뉴스룸이 아닌 소규모 팀에 의해 운영되며, 각 매체에 대한 기사는 일반적으로 사실 확인에 실패한 구체적인 사례를 증거로 제시합니다.
다음과 같은 경우에 가장 적합합니다: 낯선 매체가 정치적 의제를 관철하기 위해 사실을 왜곡한 전력이 있는지 빠르게 직감적으로 확인해 보는 것. |
Ad Fontes Media(미디어 바이어스 차트)위 검색 결과에는 없지만 널리 알려진 시각적 도표로, 서로 다른 정치적 관점을 가진 분석가 패널이 동일한 기사를 검토한 결과를 바탕으로 언론 매체의 신뢰도(세로축)와 정치적 성향(가로축)을 그래프로 나타낸 것입니다.
다음과 같은 경우에 가장 적합합니다: 하나의 매체에 집중하기보다는 여러 매체를 한눈에 시각적으로 비교하는 방식입니다. |
주장 수준 사실 확인 담당자
이것들은 웹사이트 전체를 평가하는 것이 아니라 특정 게시물, 동영상 또는 바이럴 콘텐츠를 평가하는 것입니다.
폴리티팩트선출직 공무원 및 기타 인사들의 주장의 정확성을 평가하는 사실 확인 웹사이트로, 탬파베이 타임스의 편집자와 기자들이 운영합니다. 각 주장은 '진실 측정기'에 따라 평가되며, 이 측정기는 참에서 거짓까지 등급이 매겨지고, 가장 터무니없는 거짓말은 가장 낮은 등급인 '완전 거짓말'을 받게 됩니다. 특징: 이 연구는 일반적인 인터넷 주장보다는 공인들의 정치적 발언, 즉 토론, 광고, 인터뷰, 소셜 미디어 게시물에 초점을 맞춥니다.
다음과 같은 경우에 가장 적합합니다: 최근 유포되고 있는 특정 인용구나 정치적 주장을 확인하는 것. | 스놉스1994년에 설립된 이 사이트는 인터넷에서 가장 오래되고 규모가 큰 종합 사실 확인 사이트로, 원래는 도시 전설에 초점을 맞췄지만 지금은 모든 종류의 바이러스성 주장을 다루고 있습니다. 주장은 세부적인 척도로 평가됩니다. 등급은 주장의 주요 요소가 명백히 사실인지, 사실이지만 부수적인 세부 사항이 오해의 소지가 있는지, 사실과 거짓이 적절히 혼합되어 있는지, 거짓이지만 어느 정도 사실에 근거하고 있는지, 또는 명백히 거짓인지를 나타냅니다.
다음과 같은 경우에 가장 적합합니다: 온라인에서 화제가 된 사진, 동영상 또는 '들어보셨나요?' 이야기가 사실인지 확인하는 것입니다. |
FactCheck.org, AFP 팩트체크, 로이터 팩트체크, 주요 기사유사한 사실 검증 작업들이 모여 있는데, 그중 다수는 주요 통신사에서 운영하고 있습니다. 특히 Lead Stories는 'Trendolizer' 기술을 사용하여 트렌드를 주도하는 콘텐츠를 식별하고, 기자팀이 이를 검증합니다. 로이터 팩트체크는 AFP의 팩트체크 부서와 마찬가지로 국제 팩트체킹 네트워크(IFNN)의 윤리 강령에 서명했습니다.
다음과 같은 경우에 가장 적합합니다: 속보와 관련된 주장, 특히 국제적으로 확산되는 주장. | https://www.afp.com/en/our-offer/afp-fact-check |
참고 사항: 지난 3년간 팩트체킹 기관들은 심각한 자금난에 직면했습니다. 국제 팩트체킹 네트워크(IFCN)에 따르면, 인증된 팩트체커 중 45.3%가 2025년까지 수익 감소를 예상했습니다. 주요 자금 지원처들이 비슷한 시기에 모두 고갈되었습니다. 메타(Meta)는 미국 팩트체킹 파트너십을 종료했고, 미국 국제개발처(USAID)는 정부 보조금 동결 이후 문을 닫았으며, 민주주의진흥재단(NED)도 관련 보조금 지원을 중단했습니다. 이로 인해 많은 기관들이 인력을 감축하고, 팩트체킹에 대한 대중의 관심이 계속 증가하는 상황에서도 더 적은 수의 보조금에 의존할 수밖에 없었습니다.
표준 기구(평가자를 평가하는 기구)
이러한 기관들은 콘텐츠를 직접 평가하지는 않지만, 사실 확인 기관을 직접 인증합니다. 이는 처음 들어보는 사실 확인 기관을 신뢰할지 판단할 때 유용합니다.
국제 팩트체킹 네트워크(IFCN)IFCN은 팩트체커들이 자체 원칙 강령을 준수하는지 검토하고, 심사를 통과한 기관에 1년간 유효한 인증서를 발급합니다. 2024년 중반 기준으로 약 170개의 회원 기관이 있습니다. 다음과 같은 경우에 가장 적합합니다: 낯선 '팩트체크' 사이트가 공인된 기관인지 아니면 형식을 빌려 쓰는 1인 블로그인지 확인하는 것. | 유럽 팩트체킹 표준 네트워크(EFCSN)2023년 유럽 위원회 프로젝트에 따라 출범한 이 제도는 팩트체커들이 표준 규정을 준수하는지 검토하고, 두 명의 독립적인 평가자가 검토를 통과한 팩트체커에게 인증을 부여합니다. 해당 규정은 인증받은 팩트체커가 모든 당사자와 측의 주장을 검토하고, 개별적인 주장을 조사하며, 출처와 방법을 투명하게 밝히고, 자금 출처와 소속을 공개하고, 뉴스 및 정보 제공을 최우선 임무로 삼아야 한다고 요구합니다. 다음과 같은 경우에 가장 적합합니다: 유럽연합(EU)에 기반을 둔 언론사에 특히 중요한 IFCN 확인 절차에 해당하는 유럽형 인증 제도입니다. |
신뢰 프로젝트(신뢰 지표)국제 뉴스 기관 컨소시엄은 자금 조달, 저자 정보, 정정 정책 등에 대한 표준화된 공개 정보인 '신뢰 지표'를 공동으로 개발했으며, 참여 언론사들은 이를 표시하고 때로는 '신뢰 마크'를 사용합니다. NewsGuard나 MBFC와는 달리 점수를 매기지 않습니다. 오히려 투명성 인증에 가깝습니다. 즉, 해당 언론사가 제작 과정을 공개하는지 여부를 확인하는 것입니다.
다음과 같은 경우에 가장 적합합니다: 특정 언론 매체가 자금 조달 및 편집 과정에 대해 책임을 지고 있는지, 그리고 그러한 징후가 나타날 경우 이를 검증하는 것. |
과학 및 학술 지표
기술적 또는 과학적 주장에 대해서는 위의 도구들이 전혀 도움이 되지 않습니다. 학술 출판계는 언론 리뷰가 아닌 인용을 기반으로 구축된 훨씬 오래된 자체 평가 체계를 가지고 있기 때문입니다.
SJR(SCImago 저널 순위)학술 저널의 인용 횟수와 평점을 기준으로 저널의 명성을 순위별로 정리했습니다. 무게 해당 논문을 인용한 저널의 수에 따라 계산됩니다(최고 수준의 저널에서 인용된 경우, 잘 알려지지 않은 저널에서 인용된 경우보다 더 높은 점수를 받습니다. 이는 구글의 초기 페이지랭크와 유사한 방식입니다).
다음과 같은 경우에 가장 적합합니다: 낯선 저널 이름을 접했을 때, 해당 저널이 공신력 있는 곳인지 아니면 원고료를 받고 원고를 게재하는 '착취적인' 곳인지 확인하고 싶을 때 가장 먼저 고려하는 필터입니다. | h-인덱스h-index는 개별 연구자의 생산성과 인용 영향력을 종합적으로 측정합니다(h-index가 20이라는 것은 해당 연구자가 각각 최소 20회 이상 인용된 논문을 20편 이상 발표했다는 의미입니다).
다음과 같은 경우에 가장 적합합니다: 전문가로 소개된 사람이 해당 특정 분야에서 진정성 있고 실질적인 출판 실적을 가지고 있는지 확인하는 것이지, 단순히 아무 분야에서나 확인하는 것이 아닙니다. |
영향력 지수(IF)저널 수준 지표: 지난 2년간 해당 저널에 게재된 논문들이 당해 연도에 인용된 평균 횟수.
다음과 같은 경우에 가장 적합합니다: 같은 분야 내의 저널들을 비교하는 것이지, 다른 분야 간의 저널들을 비교하는 것은 절대 안 되며, 논문을 직접 읽는 것을 대체하는 것도 아닙니다. |
최근 학술지표 관련 문제점에 대한 참고 사항:
최근 몇 년 동안 임팩트 팩터, SJR, h-인덱스와 같은 계량서지학적 도구들이 심각한 비판에 직면해 있습니다. strain 산업화된 연구 부정행위로부터 비롯된 것입니다. '논문 공장'은 가짜 또는 표절 연구를 대량 생산하고, 데이터를 조작하며, 공동 저자 자리를 판매하는 상업적 운영 방식으로, 일부 학술지에 사기성 논문을 쏟아붓고 있습니다. 또한, 인용 카르텔(지표를 부풀리기 위해 상호 인용을 조작하는 연구자 또는 브로커)은 이러한 점수를 더욱 왜곡했습니다. 힌다위(Hindawi), 스프링거 네이처(Springer Nature) 등의 출판사는 2022~2023년 이후 조작된 특별호와 조작된 동료 심사를 발견한 후 수천 편의 논문을 일괄적으로 철회했습니다. 이러한 수법은 러시아, 이란, 미국, 유럽 일부 지역을 포함한 여러 국가에서 보고되었지만, 리트랙션 워치(Retraction Watch)와 같은 연구 윤리 감시 단체는 논문 공장의 활동이 특정 급성장하는 학술 시장에 불균형적으로 집중되어 있으며, 이는 주로 강력한 기관 투자에 기인한다고 지적합니다. 압력 개별 연구자의 특성보다는 채용, 승진, 자금 지원을 위해 논문을 발표하는 것이 중요해졌습니다. 실질적인 결과는 높은 임팩트 팩터나 SJR(Student Journal of Reports)이 더 이상 저널의 특별호나 최근 권호가 깨끗하다는 것을 보장하지 않는다는 것입니다. 따라서 인용 지표와 함께 논문 철회 데이터베이스(아래 다음 장에서 도구 참조)를 통해 저널이나 논문을 확인하는 것이 필수적인 추가 단계가 되었습니다.
출판 후 부정행위 적발 도구 (사후 부정행위 적발)
이전 섹션에서 언급한 SJR, h-index, 임팩트 팩터와 같은 모든 도구는 인용 횟수를 통해 명성을 측정합니다. 이러한 도구들은 부정행위를 적발하기 위해 만들어진 것이 아니며, 최근 몇 년 동안 조작, 표절, 동료 심사 조작 또는 출판 후 매입된 논문을 찾아내는 데 특화된 별도의 도구들이 등장했습니다.
철회 감시 데이터베이스학술 출판 전반에 걸친 논문 철회, 우려 표명, 정정 사항을 추적하는 무료 공개 데이터베이스로, 현재 64,000건 이상의 철회 기록을 포함하고 있습니다. Retraction Watch는 2023년 과학 윤리 센터(Center for Scientific Integrity)로부터 이 데이터베이스를 인수했으며 현재 매일 업데이트하고 있습니다. 이 데이터 세트는 다음 플랫폼을 통해서도 배포됩니다. 크로스레프. 자료는 출판사 웹사이트, 학술 데이터베이스, 웹 검색 및 연구 커뮤니티의 제보를 통해 수집된 후, 철회 사유(표절, 데이터 조작, 이미지 조작, 부정 심사, 논문 공장 출고 등 수십 가지 태그)별로 분류됩니다. 특징: 이 도구는 저널이나 초록에 있는 저자가 아닌, 논문이 발표된 후 개별 논문을 직접적으로 대상으로 하는 유일한 도구입니다. 또한 다른 도구들이 완전히 무시하는 관련 무결성 신호도 추적합니다. 이 사이트는 특히 논문 철회와 관련된 목록을 지속적으로 업데이트합니다. 코로나 19 잘못된 정보와 편집위원들의 집단 사퇴 명단.
다음과 같은 경우에 가장 적합합니다: 특정 논문, 저자 또는 저널을 인용하기 전에 해당 논문이 철회된 이력이 있는지 확인하는 것은 말 그대로 '이미 적발된 적이 있는가?'를 확인하는 것입니다. | 펍피어2012년에 출시된 논문 사후 검토 플랫폼으로, 연구자, 학생, 원저자 등 누구나 익명 또는 실명으로 출판된 논문의 타당성, 방법론, 데이터 또는 이미지에 대해 의견을 제시할 수 있습니다. 출판 전에 비공개로 진행되는 공식적인 동료 검토와 달리, PubPeer의 댓글은 출판 후에 공개적으로 작성되며, 공식 검토에서 놓쳤던 이미지 중복, 통계적 이상, 데이터 불일치 등을 지적하는 경우가 많습니다. 이러한 공개적인 의견 교환은 실제로 수많은 논문 철회와 몇몇 유명 연구 부정행위 조사로 이어졌습니다. 특징: 댓글은 검토 후 게시되지만, 익명의 '과학 탐정'을 포함한 모든 사람이 참여할 수 있습니다. 이들은 논문 전반에 걸쳐 조작된 이미지나 중복된 데이터를 찾아내는 데 특화되어 있습니다.
다음과 같은 경우에 가장 적합합니다: 특정 논문이나 저자를 검색하여 공식적인 철회가 없더라도 독립적인 검토자들이 이미 해결되지 않은 우려 사항을 제기했는지 확인할 수 있습니다. |
문제 논문 선별기(PPS)컴퓨터 과학자 기욤 카바낙과 시릴 라베가 개발한 무료 자동화 도구로, 색인화된 약 1억 3천만~1억 4천만 건의 과학 논문을 지속적으로 스캔하여 조작의 징후를 찾아냅니다. 이 프로그램의 가장 잘 알려진 탐지 기능은 '왜곡된 문구'를 찾아내는 것입니다. 이는 사기꾼들이 표절 검사기를 피하기 위해 훔친 텍스트를 의역 소프트웨어에 입력하여 '인공적인' 대신 '가짜 신경 조직'과 같은 어처구니없는 문구를 만들어내는 과정에서 발생하는 왜곡된 동의어 대체를 말합니다. 신경망나머지 9개의 탐지기는 스푸핑 프로그램인 SCIgen으로 생성된 의미 없는 논문, "AI 언어 모델로서, 저는 할 수 없습니다"와 같은 AI 챗봇의 잔재, 그리고 이미 철회된 참고 문헌을 의심스러울 정도로 많이 인용한 논문 등 다양한 위험 신호를 찾아냅니다. 특징: 이 도구는 여러 개의 변형된 문구가 포함된 논문 약 19,000편과 컴퓨터가 완전히 생성한 의미 없는 논문 280편 이상을 탐지했는데, 그중 일부는 탐지 당시에도 여전히 학계에 유통되고 있었습니다. 이 도구의 방법론은 매우 중요하여 네이처(Nature)지는 이를 그해 과학계의 주요 발전 중 하나로 선정했으며, 스프링거 네이처(Springer Nature)는 이후 PPS의 공개 변형 문구 목록을 기반으로 자체적인 탐지 도구를 개발했습니다.
다음과 같은 경우에 가장 적합합니다: 논문의 텍스트에 표절이나 AI 생성 삽입물과 같은 알려진 부정행위의 흔적이 있는지 확인하려는 기술에 정통한 사용자 및 언론인, 그리고 출판사 입장에서는 출판 전 검토 도구로 활용할 수 있습니다. | STM 무결성 허브 및 게시자 측 탐지 도구국제 과학, 기술 및 의학 출판사 협회(STM)에서 운영하는 클라우드 기반의 공유 이니셔티브로, 회원 출판사에게 제출된 원고의 무결성 문제를 검사하고 Springer Nature의 AI 텍스트 탐지기와 같은 기증된 도구를 포함한 타사 탐지 도구에 액세스할 수 있는 공통 환경을 제공합니다. 이는 개별 출판사들이 사기 행위에 대해 고립적으로 대응하던 방식에서 벗어나, United2Act 연합과 같은 병행 노력과 함께 업계 전반에 걸친 공동 탐지 방식으로 전환하는 것을 의미합니다.
다음과 같은 경우에 가장 적합합니다: 결함 있는 논문이 Retraction Watch와 같은 데이터베이스에 도달하기 전에 출판사 수준에서 무슨 일이 일어나고 있는지 이해하는 것이 중요합니다. https://stm-assoc.org/what-we-do/strategic-areas/research-integrity/integrity-hub/ |
검색 엔진 및 알고리즘 프레임워크
구글의 EEAT 점수
EEAT 점수는 공개적으로 표시되는 점수가 아니라, 구글의 검색 품질 평가 가이드라인에서 순위 알고리즘을 학습하고 평가하는 데 사용하는 내부 프레임워크입니다. 사이트의 'EEAT 점수'는 어디에서도 찾아볼 수 없으며, 콘텐츠 순위를 통해 그 영향을 추론할 수 있을 뿐입니다. 네 가지 구성 요소:
- 경험 — 저자는 자신이 쓰고 있는 내용에 대해 실제로 해보거나 사용해 본 적이 있습니까?
- 전문적 지식 — 저자는 관련 자격증이나 검증된 지식을 보유하고 있습니까?
- 권위 — 해당 사이트는 이 주제에 대한 주요 참고 자료로 인정받고 있습니까?
- 신뢰성 — 해당 사이트는 안전하고, 저작권 정보가 투명하며, 정확한가요?
이것이 바로 기술 관련 주제에 대해 구글 검색 결과가 새로운 상업 사이트보다 .gov, .edu, 그리고 기존의 .org 도메인을 우선적으로 보여주는 이유 중 하나입니다. 이러한 도메인들은 구조적으로 권위와 신뢰도 측면에서 더 높은 점수를 받기 때문입니다.
- 장점: 인터넷 규모로 지속적으로 작동하며, 색인된 거의 모든 항목에 대해 작동합니다. 이 정도의 적용 범위를 가진 도구는 없습니다.
- 단점: 완전히 불투명합니다. 공개된 공식도 없고, 이의 제기 절차도 없으며, 특정 순위 결정에 대한 감사 방법도 없습니다. 또한, 이는 검색 사용자가 만족할 만한 콘텐츠를 예측하도록 최적화된 순위 신호이지, 순수한 정확도 측정치가 아니며, 이 둘은 상충될 수 있습니다(매우 만족스러운 콘텐츠가 항상 가장 정확한 콘텐츠는 아닙니다).
다음과 같은 경우에 가장 적합합니다: 기술 및 의학 주제와 관련하여 특정 도메인이 다른 도메인보다 지속적으로 높은 순위를 차지하는 이유를 이해하는 것은 유용한 맥락을 제공하지만, 직접적으로 쿼리할 수 있는 도구는 아닙니다.
수동 평가 프레임워크
위에 언급된 것들과는 달리, 이것들은 검색하는 데이터베이스가 아니라 체크리스트입니다. 너 어떤 자료든 꾸준히 활용해 보세요.
CRAAP 테스트
캘리포니아 주립대학교 사서들이 개발한 이 방법은 대부분의 대학 연구 방법론 강좌에서 가르치는 표준 방법입니다.
- 통화 — 해당 정보는 얼마나 최근 정보이며, 이 주제에 있어 그 점이 중요한가요?
- 관련성 — 그것이 실제로 당신이 필요로 하는 것을 다루고 있나요?
- 권한 — 누가 작성하거나 출판했으며, 그들의 자격은 무엇입니까?
- 정확성 — 검증 가능하고, 출처가 확실하며, 확인할 수 있는 오류가 없는 정보인가요?
- 목적 이 콘텐츠는 왜 존재하는가? 정보를 제공하기 위해서, 설득하기 위해서, 즐거움을 주기 위해서, 아니면 판매하기 위해서인가?
장점: 무료이며, 웹사이트, 책, 비디오, 소셜 미디어 게시물 등 모든 유형의 자료에 보편적으로 적용 가능합니다. 직관적인 반응보다는 신중하고 체계적인 사고를 유도하며, 자기 평가 습관을 기르도록 돕습니다.
단점: 완전히 수동으로 진행됩니다. 점수나 데이터베이스가 없고, 오로지 개인의 판단력에 의존합니다. 결과의 질은 얼마나 철저하게 적용하느냐에 달려 있습니다.
다음과 같은 경우에 가장 적합합니다: 모든 온라인 정보 검색의 기본입니다. 위의 데이터베이스 어디에도 항목이 없는 출처를 평가하는 것인데, 대부분의 틈새 시장 웹사이트나 신규 웹사이트의 경우 이러한 경우가 흔할 것입니다.
크라우드소싱 기반 참고문헌 목록
위키백과의 영구적인 자료 목록(WP:RSP)
2018년에 만들어진 영어 위키백과의 커뮤니티 관리 목록으로, 누적된 편집 논의를 바탕으로 출처의 신뢰도를 등급별로 분류합니다.
이 목록은 독립적인 문서가 아니라, 공식적인 의견 요청(RfC) 및 기타 논의의 결론을 바탕으로 작성된 것으로, 커뮤니티 합의를 요약한 것입니다. 출처는 일반적으로 신뢰할 수 있는 출처, '약간 신뢰할 수 있는' 출처(합의가 없거나, 불분명하거나, 추가적인 고려 사항이 있는 경우) - National Review, Jezebel, Salon.com 등이 예로 제시됨 - 그리고 '일반적으로 신뢰할 수 없는' 출처는 '일반적으로 사용해서는 안 되며', '생존 인물에 대한 정보에는 절대 사용해서는 안 된다'는 의미입니다. 아마존 고객 리뷰, Discogs, TV Tropes와 같은 특정 사용자 생성 콘텐츠 사이트를 포함하여 가장 문제가 되는 출처는 공식적으로 사용 중단될 수 있습니다.
특징: 맥락은 매우 중요합니다. 출처의 신뢰성은 해당 출처가 사용되는 특정 주장에 따라 달라지며, 목록은 의심스러울 경우 요약 아이콘만 보기보다는 관련 토론 링크를 참조해야 한다고 명시적으로 경고합니다. 합의는 시간이 지남에 따라 바뀔 수 있으며, 이 목록은 새로운 증거를 고려한 최신 토론을 반영하여 업데이트됩니다.
- 장점: 무료이며, 방대한 자료(수백 개의 출처)를 제공하고, 한 편집자의 의견이 아닌 특정 논쟁을 명확하게 인용하며, 지속적으로 업데이트됩니다. 기초가 되는 논의 내용이 공개되어 있으므로, 단순히 점수만 보는 것이 아니라 실제 논리를 직접 확인할 수 있습니다.
- 단점: 이 시스템은 위키백과의 특정 자료 출처 기준에 따라 신뢰도를 평가합니다. 즉, 위키백과의 백과사전적 기준으로는 '일반적으로 신뢰할 수 없는' 출처일지라도 다른 목적으로는 여전히 유용할 수 있습니다(예: 1차 자료인 회사 블로그는 경쟁사에 대한 중립적인 사실에 대해서는 '신뢰할 수 없지만' 회사의 공식적인 입장에 대해서는 완벽한 출처입니다). 또한 이 시스템은 중립적인 기준이라기보다는 위키백과 편집자 구성원의 정치적 성향을 반영한다는 비판을 받기도 합니다.
다음과 같은 경우에 가장 적합합니다: 특정 매체의 정확성 논란 이력을 확인하고, 찬반 양론을 직접 읽어보는 것은 이 목록에서 가장 투명한 도구 중 하나입니다. 왜냐하면 단순히 결론뿐 아니라 그 이면에 숨겨진 논쟁을 확인할 수 있기 때문입니다.
https://en.wikipedia.org/wiki/Wikipedia:Reliable_sources/Perennial_sources
결론이라기보다는 글로벌 팁에 가깝다
위에 언급된 도구들은 어느 하나 단독으로는 충분하지 않으며, 여러 범주에 걸쳐 조합될 때 가장 강력한 효과를 발휘합니다.
- 언론 매체용: 해당 언론사의 과거 행적을 확인하려면 NewsGuard 또는 MBFC를 참조하고, 그 다음 위키피디아의 RSP(Review Standards Practice, 언론윤리위원회)에 해당 언론사에 대한 합의된 의견이 문서화되어 있는지 확인하십시오.
- 바이럴 마케팅 사례: 팩트체커의 헤드라인만 믿지 말고, 스놉스(Snopes)나 폴리티팩트(PolitiFact)에서 직접 확인한 후 주장의 근거가 되는 출처를 검증하세요.
- 기술적 또는 과학적 주장에 관하여: 저널의 SJR과 저자의 h-index를 기본 기준으로 삼되, 논문의 방법론을 실제로 읽어보세요. 인용 지표가 방법론을 대체할 수는 없습니다.
- 어디에도 들어갈 수 없는 모든 것의 경우: CRAAP 테스트로 돌아가서 직접 수작업을 하세요.
뉴스 가드의 반론권 제도, IFCN의 연례 재평가, 위키피디아의 공개 토론 기록 등 신뢰할 만한 모든 도구의 공통점은 단순히 결론을 내리는 것이 아니라 그 근거를 제시한다는 점입니다. 구체적인 점수보다 이러한 투명성이야말로 신뢰할 만한 도구를 가려내는 진정한 지표입니다.
자주 묻는 질문
뉴스 기사의 사실 여부를 확인하는 가장 빠른 방법은 무엇일까요?
해당 주장의 핵심 사실과 '팩트 체크'라는 단어를 함께 검색하여 PolitiFact, Snopes 또는 Reuters Fact Check에서 이미 다뤘는지 확인하십시오. 만약 어떤 팩트 체크 기관에서도 아직 다루지 않았다면, 해당 기사를 공유한 사람을 신뢰하기보다는 원래 출처를 추적하십시오.
웹사이트가 전문적으로 보인다고 해서 무조건 신뢰할 수 없는 이유는 무엇일까요?
세련된 디자인은 쉽게 흉내낼 수 있고 편집 기준에 대해서는 아무것도 알려주지 않습니다. 사이트의 외관이 아니라 사이트 소유자가 누구인지, 저자들이 진짜 자격을 갖췄는지, 주장의 출처가 명확한지 확인하세요.
인용 횟수가 많다고 해서 과학 논문이 옳다는 증거일까요?
아니요. 인용 횟수는 영향력과 인지도를 측정하는 지표일 뿐 정확성을 나타내는 것은 아닙니다. 조작되었거나 나중에 철회된 논문은 문제가 발견되기 전까지 수년간 인용 횟수가 누적될 수 있습니다. 논문을 인용하기 전에 항상 해당 논문이 철회되었는지 확인하십시오.
잘못된 정보와 허위 정보의 차이점은 무엇인가요?
오정보는 자신이 거짓임을 모르고 공유하는 허위 정보로, 종종 우연히 발생합니다. 허위 정보는 정치적 또는 금전적 이득을 위해 의도적으로 만들어지고 유포되는 거짓 정보입니다.
과학 연구 논문을 인용했다는 이유만으로 기사를 신뢰해도 될까요?
자동으로 신뢰할 수 있는 것은 아닙니다. 기사 제목은 종종 연구 결과를 과장하거나 왜곡하는 경우가 있으므로, 인용된 연구가 실제로 기사의 주장과 일치하는지 확인해야 합니다. 또한 해당 연구가 동료 평가를 거쳤는지, 재현 연구가 진행되었는지, 또는 나중에 철회되었는지도 확인해야 합니다.
이미지나 동영상이 진짜인지 어떻게 알 수 있나요?
사진이나 동영상의 주요 장면을 역이미지 검색하여 온라인에 처음 게시된 위치와 시기를 확인하세요. 조작되거나 맥락에서 벗어난 미디어는 허위 정보가 확산되는 가장 흔한 방식 중 하나이므로, 자극적인 영상물은 특히 주의해야 합니다.
위키피디아 문서들은 신뢰할 만한가요?
위키피디아 자체는 맥락을 파악하는 데 좋은 출발점이지만, 사실 확인을 위한 진정한 가치는 각주에 인용된 출처에 있습니다. 위키피디아 본문을 최종적인 결론으로 받아들이기보다는 각주에 인용된 출처들을 직접 확인하십시오.
서로 다른 사실 확인 기관들이 때때로 의견이 일치하지 않는 이유는 무엇일까요?
사실 확인은 특히 미묘하거나 정치적으로 민감한 주장에 대해서는 인간의 판단이 개입되기 때문에 의견 차이가 발생하는 것은 당연합니다. 출처가 서로 상충될 경우, 여러 사실 확인 기관의 자료를 검토하고 자신이 선호하는 결론을 내리기보다는 원본 자료를 직접 확인하는 것이 중요합니다.
출처가 '동료 검토'를 거쳤다는 것은 무엇을 의미합니까?
이는 해당 분야의 다른 전문가들이 출판 전에 논문을 검토하고 방법론이 출판하기에 충분히 타당하다고 판단했음을 의미합니다. 하지만 정확성을 보장하는 것은 아닙니다. 동료 심사를 거친 논문이라도 철회되는 경우가 종종 있으며, 특히 최근 몇 년 동안 논문 조작이 증가하면서 더욱 그렇습니다.
좋아요나 공유 횟수가 많다는 이유만으로 그 주장을 믿어야 할까요?
아니요, 바이럴리티는 콘텐츠가 얼마나 감정적으로 공감을 불러일으키거나 공유하기 쉬운지를 측정하는 것이지, 얼마나 사실인지를 측정하는 것이 아닙니다. 허위 주장은 강한 반발을 유발하도록 고안되었기 때문에 정정 내용보다 더 빠르게 확산되는 경우가 많습니다.
웹사이트에 정치적 의도가 있는지 어떻게 알 수 있을까요?
Media Bias/Fact Check이나 Ad Fontes Media 같은 도구를 이용해 독립적인 편향성 평가를 확인하고, 해당 사이트의 자금 출처와 소유주를 살펴보세요. 사이트는 사실을 정확하게 보도하면서도 어떤 사실을 강조할지 일관되게 선택할 수 있으므로, 편향성과 부정확성은 서로 다른 문제입니다.
온라인 정보에 대한 판단력을 가장 크게 향상시키는 습관은 무엇일까요?
공유하기 전에 잠시 멈추세요. 이 정보를 믿으면 누가 이득을 보는지 생각해보고, 반응하기 전에 출처를 확인하세요. 대부분의 잘못된 정보는 실제로 확인해 보면 사실인 경우가 많지만, 사람들이 충동적으로 공유하기 때문에 확산됩니다.
