"딱 봐도 AI가 썼네" 위키피디아 편집자들이 AI 문서를 잡아내는 법

요약 온라인 백과사전 위키피디아에서 AI로 생성된 저품질 문서를 적발하고 삭제하는 자원봉사 프로젝트 'WikiProject AI Cleanup'의 공동 설립자 엘리아 르블뢰(Ellia Lebleu)의 인터뷰가 공개됐습니다. 르블뢰에 따르면 이 프로젝트는 2023년 12월경 위키피디아 디스코드 서버에서 활동하던 편집자들이 ChatGPT 특유의 이상한 문체와 구성을 공유하면서 본격적으로 시작되었습니다. 당시 AI가 쓴 문서들은 '~의 증거로 남아있다(stands as a testament)'나 '풍부한 문화유산(rich cultural heritage)' 같은 상투적인 문구를 남발하거나, 위키피디아 형식에 맞지 않는 결론 섹션 혹은 '이것이 왜 중요한가?' 같은 질문형 단락을 자주 포함하고 있어 상대적으로 쉽게 판별할 수 있었습니다. 하지만 시간이 흐르며 AI 생성 텍스트는 훨씬 더 정교해졌습니다. 최근 편집자들은 단어 자체보다는 3단 구성(rule of three)이나 부정 평행 구조 같은 문장 패턴의 누적 여부를 파악하는 구조적 탐지 방식을 활용하고 있습니다. 또한 5분 만에 수천 자 분량의 문서 5개를 등록하는 식의 비정상적인 사용자 활동 패턴을 함께 추적합니다. 더 심각한 문제로 떠오른 것은 출처 조작입니다. AI가 존재하지 않는 출처를 완전히 지어내는 환각 현상은 검색 증강 생성(RAG) 기술 도입으로 줄어들었으나, 실제 존재하는 출처를 연결해 놓고도 정작 본문 내용과 전혀 맞지 않거나 왜곡하는 사례가 빈번하게 발생하고 있습니다. 이에 따라 영어 위키피디아는 문서 작성 시 거대언어모델(LLM) 사용을 금지하는 등 대응 수위를 높이고 있습니다.