Block AI Training, Keep ChatGPT & Google Search Open
본 영상은 robots.txt 설정을 통해 ChatGPT, Google 검색 등은 유지하면서 AI 모델의 학습 데이터 수집을 차단하는 방법을 안내합니다. RFC 9309 규칙을 기반으로 18가지 AI 크롤러를 분석하고, Claude Code의 claude-seo 플러그인을 활용해 실시간 robots.txt 감사 및 봇 시뮬레이터 테스트를 시연합니다.
핵심 요약
- Disallow는 크롤링만 차단하며 인덱싱은 막지 않아, 링크를 통해 노출될 수 있음을 경고합니다.
- OpenAI, Anthropic, Google 등은 학습 봇(GPTBot, ClaudeBot, Google-Extended)과 검색 봇(OAI-SearchBot, PerplexityBot, Googlebot)을 분리하며, 학습 봇만 차단하고 검색 봇은 유지해야 합니다.
- Google-Agent, ChatGPT-User와 같은 사용자 에이전트는 robots.txt를 우회하므로, 비공개 페이지는 실제 인증으로 보호해야 합니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입