Claude-SearchBot
Claude-SearchBot은 Claude 검색 결과의 관련성과 정확도를 높이기 위해 웹을 크롤링합니다. Anthropic은 이 봇을 차단하면 콘텐츠가 검색용으로 색인되지 않아 사용자 검색 결과에서 가시성과 정확도가 떨어질 수 있다고 밝힙니다. Claude가 내 페이지를 찾아 인용하길 원한다면 허용하세요.
하는 일
Anthropic은 웹을 탐색해 Claude 사용자의 검색 결과 품질을 높이기 위해 Claude-SearchBot을 사용합니다. 학습용 크롤러인 ClaudeBot과는 별개이므로, 학습은 옵트아웃하면서 검색은 허용할 수 있습니다.
Anthropic은 Claude-SearchBot을 비활성화하면 검색 최적화를 위한 콘텐츠 색인이 이뤄지지 않아 사용자 검색 결과에서 사이트의 가시성과 정확도가 떨어질 수 있다고 밝힙니다. Anthropic의 봇은 robots.txt를 준수하고 우회 방지 조치를 존중하므로, CAPTCHA나 확인 페이지가 나오면 방문을 종료합니다.
2026-11 조사에서 robots.txt가 있는 인기 사이트의 12.9%가 이 크롤러를 차단했습니다. →
robots.txt 토큰
Claude-SearchBot
허용하는 방법
User-agent: Claude-SearchBot
Allow: /차단하는 방법
User-agent: Claude-SearchBot
Disallow: /실제 방문인지 확인하는 방법
Anthropic은 크롤러의 IP 주소를 claude.com/crawling/bots.json에 공개하며, IP가 이 목록에 있는 크롤러는 Anthropic에서 온 것이라고 밝힙니다. 사용자 에이전트를 믿지 말고 출발지 IP를 목록과 대조하세요. Anthropic은 옵트아웃에 IP 차단을 쓰지 말라고 권고합니다. 크롤러가 robots.txt를 읽지 못하게 되기 때문입니다.