"AI 소식 걸러주는 사이트 만들었더니 AI 봇들한테 사이트 털림" 넋두리한 개발자

요약 개인 개발자가 만든 맞춤형 뉴스 피드 리더 사이트가 해외 개발자 커뮤니티 해커뉴스(HN)에서 큰 호응을 얻었다가, 엉뚱하게도 AI 봇들의 무차별 트래픽 폭격에 시달린 사연이 화제가 됐습니다. 작성자는 피드에서 특정 주제(예: 지긋지긋한 LLM/AI 관련 소식)를 걸러낼 수 있는 맞춤형 피드 리더 서비스 'sprinklz.io'를 개발해 해커뉴스에 공유했습니다. 'AI 소식을 피드에서 숨길 수 있다'는 콘셉트가 많은 이용자의 공감을 얻으며 100개 안팎의 추천을 받는 등 성공적인 반응을 얻었습니다. 하지만 며칠 뒤부터 사이트 속도가 심각하게 느려지기 시작했습니다. 처음에는 갑작스러운 커뮤니티 유입 때문인 줄 알았으나, 글이 올라간 지 며칠이 지나도 속도 저하가 지속되고 서버 부하가 비정상적으로 치솟았습니다. 실제 로그인해 활동 중인 유저 수는 적은데 서버만 과부하에 걸린 기현상이 발생한 것입니다. 로그를 분석해 엔드포인트별 요청을 추적한 개발자는 황당한 사실을 발견했습니다. 대다수의 요청이 실제 뉴스 기사를 불러오지도 않았고, 싱글 페이지 애플리케이션(SPA) 특성상 필수적인 자바스크립트 렌더링조차 거치지 않는 단순 스크래핑 요청이었던 것입니다. 더 나아가 NGINX 로그를 확인한 결과, 전체 사이트 트래픽의 거의 절반이 단 하나의 특정 사용자에게서 발생하고 있었습니다. 해당 유저를 추적해보니 사이트 변경 사항을 지속적으로 감시해 'AI 뉴스레터'로 요약해 주는 서비스였으며, 1분에 수십 번씩 무차별 조회를 날려대고 있었습니다. 그 밖에도 Claude 봇, OpenAI 봇, 구글 크롤러는 물론 워드프레스 취약점을 찾는 스캐너들까지 몰려들어 서버를 갉아먹고 있었습니다. 개발자는 문제의 AI 요약 서비스를 즉시 차단하고, robots.txt 설정 및 요청 빈도 제한(Rate Limit)을 적용했습니다. 개발자는 "AI 소식을 거르는 도구를 올렸더니 AI 봇들이 몰려와 서버를 마비시키는 아이러니를 겪었다"며, 이번 일을 계기로 대량의 트래픽도 견딜 수 있도록 사이트 인프라 성능을 전면 개편했다고 전했습니다.