"출처 다 까봤다" AI가 읊어대는 통계 숫자의 소름 돋는 진실

요약 AI가 답변할 때 당당하게 인용하는 통계 수치 가운데 실제 신뢰할 수 있는 연구 결과에 도달하는 비율은 40%에 불과하다는 흥미로운 조사 결과가 나왔습니다. 분석 기관 트래커 리서치(Trakkr Research)는 챗GPT, 퍼플렉시티, 제미나이, 클로드, 구글 AI 오버뷰 등 주요 AI 모델 5곳에 숫자를 요구하는 일상적인 질문 200개를 던지고, AI가 제시한 1,285개의 통계 출처 링크를 최대 5단계 깊이까지 직접 추적했습니다. 대표적인 예로 "영업사원 중 한 번 후속 연락 후 포기하는 비율은 얼마인가?"라는 질문에 5개 AI 모두 똑같이 "44%"라고 답했습니다. 하지만 구글 AI 오버뷰가 제시한 링크를 타고 들어가자 2020년 한 영업 회사의 통계 페이지가 나왔고, 그곳의 출처 링크는 2017년 프리랜서 작가의 포트폴리오 샘플 글로 연결되었습니다. 해당 글에는 블로그 글과 슬라이드 자료만 나열되어 있을 뿐, 실제 표본이나 설문조사, 연구 자료는 전혀 없었습니다. 근거 연구가 전혀 없는데도 웹상에서 끊임없이 재생산되어 돌아다니는 이른바 '좀비 통계(Zombie stat)'였던 셈입니다. 추적 결과 전체 통계 중 원래 연구와 정확히 일치하는 것은 40%뿐이었습니다. 8%는 실제 연구가 존재했으나 인용 과정에서 숫자나 맥락이 왜곡되었고, 40%는 유료 결제벽에 막히거나 페이지가 삭제되는 등 검증이 불가능한 상태였습니다. 나머지 11%는 아무런 출처도 없이 숫자만 떠도는 완전한 허위 근거였습니다. AI별로는 챗GPT가 답변당 인용하는 통계 수는 1.3개로 가장 적었지만 출처 일치율은 57%로 가장 우수했습니다. 반면 클로드나 제미나이는 답변당 6개 이상의 통계를 쏟아냈으나 출처 일치율은 38% 수준에 머물렀습니다. 연구진은 AI가 인용한 페이지의 82%에 해당 숫자가 실제로 적혀 있기는 했지만, 첫 인용 출처의 절반 이상(54%)이 기업 홍보성 블로그였으며 원천 연구 논문이나 보고서로 연결된 비율은 21%에 불과했다고 지적했습니다.