검색 노출은 살리고 AI 학습 크롤링만 막는 방법

요약 검색 엔진 노출은 유지하면서 AI 모델 학습 목적의 크롤링만 선별하여 차단하는 방법이 공유되었습니다. 검색과 AI 크롤링을 겸하는 봇에 대응하는 방안을 다룹니다.