"구글 검색에서 내 블로그 완전히 지웠습니다" 성공 후기 뜸

요약 AI 모델 학습을 위한 무차별적인 웹 스크래핑에 피로감을 느낀 한 개인 블로거가 자신의 웹사이트를 구글 검색 인덱스에서 완전히 제외시키는 데 성공한 과정을 공개했습니다. 블로그 운영자는 올해 초 인터넷 환경을 어지럽히는 AI 크롤러와 스크래핑을 피하기 위해 검색 엔진에서 사이트를 숨기기로 결심했습니다. 공개된 웹 공간 특성상 크롤링을 원천 차단하기는 어렵지만 최소한의 조치는 취해두자는 취지였습니다. 처음에는 일반적인 상식대로 `robots.txt` 파일에 모든 봇의 접근을 막는 차단 설정(`User-agent: * Disallow: /`)을 적용했습니다. 하지만 몇 주가 지나도 사이트는 검색 엔진에 그대로 남아 있었습니다. 이에 페이지 HTML에 인덱싱을 거부하는 메타 태그(`<meta name="robots" content="noindex, nofollow" />`)를 추가했습니다. 여기서 반전이 일어났습니다. 구글 봇이 페이지에 들어와 "인덱싱하지 말라"는 메타 태그를 직접 읽어야 비로소 검색에서 제외 처리가 되는데, 앞서 `robots.txt`로 봇의 사이트 방문 자체를 원천 차단해 버렸기 때문에 메타 태그가 읽히지 않았던 것입니다. 결국 운영자는 구글 봇만 사이트 방문을 허용(`User-agent: Googlebot Allow: /`)하여 noindex 메타 태그를 읽을 수 있게 설정을 바꿨고, 다른 주요 봇들에도 같은 방식을 적용했습니다. 마지막 변경 후 약 3개월이 지난 뒤 확인한 결과, 마침내 구글 검색에서 블로그가 완전히 사라진 것을 확인하며 성공 소식을 전했습니다.