ClaudeBot
ClaudeBot은 생성형 AI 모델 학습에 쓰일 수 있는 웹 콘텐츠를 수집하는 Anthropic의 크롤러입니다. robots.txt에서 허용하지 않으면 사이트의 앞으로의 콘텐츠를 학습에서 제외해 달라는 신호가 됩니다. ClaudeBot만 차단해도 검색과 실시간 답변을 맡는 Claude-SearchBot과 Claude-User는 멈추지 않습니다.
하는 일
Anthropic은 ClaudeBot이 모델의 유용성과 안전성을 높이기 위해 모델 학습에 기여할 수 있는 웹 콘텐츠를 수집한다고 밝힙니다. ClaudeBot을 허용하지 않으면 사이트의 앞으로의 자료를 학습 데이터셋에서 제외해 달라는 신호가 됩니다.
Anthropic은 비표준 Crawl-delay 지시문도 지원하므로, ClaudeBot을 차단하는 대신 속도를 늦출 수 있습니다. robots.txt에서 ClaudeBot을 지정한 규칙은 AI 학습 금지에 관한 Anthropic의 일반 신호보다 우선합니다. robots.txt 규칙은 호스트별로 적용되므로 적용하려는 모든 하위 도메인에 추가하세요.
2026-11 조사에서 robots.txt가 있는 인기 사이트의 21.2%가 이 크롤러를 차단했습니다. →
robots.txt 토큰
ClaudeBot
허용하는 방법
User-agent: ClaudeBot
Allow: /차단하는 방법
User-agent: ClaudeBot
Disallow: /실제 방문인지 확인하는 방법
Anthropic은 크롤러의 IP 주소를 claude.com/crawling/bots.json에 공개하며, IP가 이 목록에 있는 크롤러는 Anthropic에서 온 것이라고 밝힙니다. 사용자 에이전트를 믿지 말고 출발지 IP를 목록과 대조하세요. Anthropic은 옵트아웃에 IP 차단을 쓰지 말라고 권고합니다. 크롤러가 robots.txt를 읽지 못하게 되기 때문입니다.