하루 방문자 2천 명인 줄 알았는데 AI 봇 거르니 200명도 안 됐던 개발자의 사연

요약 개인 블로그 운영자가 AI 스크래퍼와 웹 봇으로 인해 왜곡되는 방문자 통계를 정화하기 위해 자체 분석 환경을 구축한 경험담을 공유했습니다. 작성자는 과거 2016년 개인정보 수집 문제로 구글 애널리틱스를 삭제한 뒤 서버 로그 분석 도구인 GoAccess를 사용해 왔습니다. 하지만 최근 몇 년 사이 AI 크롤러와 봇이 급증하면서 하루 방문자 수가 2,000여 명 수준으로 과도하게 부풀려져 실제 트래픽을 파악하기 어려워졌습니다. 이에 개인정보를 침해하지 않는 오픈소스 웹 분석 툴인 고트카운터(GoatCounter)를 도입하고 봇을 걸러내기 위한 특별한 트릭을 적용했습니다. 기본 자바스크립트 클라이언트 대신 마우스 움직임(mousemove), 터치(touchmove), 키 입력(keydown) 등 실제 사용자의 물리적 상호작용이 일어났을 때만 방문 횟수(hit)를 서버로 전송하도록 이벤트 리스너를 커스텀했습니다. 자바스크립트를 끈 사용자(약 2%)를 대상으로는 CSS의 :hover 가상 클래스를 활용해 상호작용 시에만 이미지를 불러오도록 구현했습니다. 그 결과 GoAccess에서 하루 2,000명으로 잡히던 방문자가 실제로는 200명 미만의 순수 사람 방문자였음이 드러났습니다. 대부분의 AI 스크래퍼나 헤드리스 브라우저는 페이지와 직접 상호작용하지 않기 때문에 이러한 방식이 효과적인 인간 인증 수단이 되었습니다. 또한 전 세계 5대 서버 환경에서 데이터 누락을 방지하기 위한 로컬 프록시 구축 및 NixOS 기반 배포 구조까지 상세히 다뤘습니다.