문장 고쳐 써도 소용없다? '글 구조'만 보고 AI 판별하는 기술 등장

요약 기존의 AI 생성 텍스트 감지 도구들은 단어 수준의 분석에 의존해 패러프레이징이나 재작성에 매우 취약하다는 한계가 있었습니다. 이번에 발표된 아카이브 논문 'SlopShape: Identifying AI-Generated Commercial Web Content'는 단어가 아닌 글의 '구조적 특성'에 집중해 AI 글을 판별하는 새로운 접근법을 제시했습니다. 연구진은 정보가 전달되는 순서, 근거를 제시하는 방식, 글의 어조 등 187개의 구조적 특징만을 활용해 분석 모델을 구축했습니다. 이를 ChatGPT 등장 이전의 실제 기업 블로그 글 2,250편과 5개 주요 최신 AI 모델로 생성한 11,250편의 텍스트에 적용한 결과, 98.0의 Macro-F1 점수로 인간의 글과 AI 글을 정확하게 분류해냈습니다. 특히 AI가 쓴 글을 다시 다른 문장으로 고쳐 쓰게(rewording) 하더라도 탐지 정확도가 98.1로 전혀 떨어지지 않았습니다. 분석 결과에 따르면, AI가 작성한 커머셜 콘텐츠는 깔끔하고 스스로를 드러내는 특유의 전형적인 구조 패턴을 공유하고 있었으며, 심지어 79.3%의 확률로 어떤 AI 모델이 작성했는지 출처까지 맞출 수 있었습니다. 반면 사람이 작성한 글은 매우 희귀하고 다양한 구조적 형태를 띠는 것으로 나타났습니다. 연구진은 관련 파이프라인과 프롬프트, 코드 및 데이터를 모두 오픈소스로 공개했습니다.