Claude-User
Claude-User는 Claude 사용자가 웹사이트 접근이 필요한 질문을 할 때 해당 사이트를 방문합니다. 예를 들어 공유된 링크를 읽는 경우입니다. Anthropic은 자사 봇이 robots.txt를 준수한다고 밝히며, Claude-User를 차단하면 사용자 질문에 대한 콘텐츠 가져오기가 막혀 사용자 주도 웹 검색에서 가시성이 떨어질 수 있다고 설명합니다.
하는 일
Anthropic은 Claude 사용자를 지원하기 위해 Claude-User를 사용합니다. 누군가 Claude에게 질문하면 답변을 위해 웹사이트에 접근할 수 있습니다. 이는 사용자를 대신한 개별 가져오기이며 일반적인 크롤링이 아닙니다.
사용자 요청 가져오기 도구가 robots.txt를 따르지 않을 수 있다고 밝힌 OpenAI, Perplexity와 달리 Anthropic은 자사 봇이 robots.txt 지시문을 준수한다고 밝히며, robots.txt에서 Claude-User를 차단하는 방법도 설명합니다. 이렇게 하면 사용자가 내 페이지에 대해 물어도 Claude가 그 페이지를 가져오지 못합니다.
2026-11 조사에서 robots.txt가 있는 인기 사이트의 13.1%가 이 크롤러를 차단했습니다. →
robots.txt 토큰
Claude-User
허용하는 방법
User-agent: Claude-User
Allow: /차단하는 방법
User-agent: Claude-User
Disallow: /실제 방문인지 확인하는 방법
Anthropic은 크롤러의 IP 주소를 claude.com/crawling/bots.json에 공개하며, IP가 이 목록에 있는 크롤러는 Anthropic에서 온 것이라고 밝힙니다. 사용자 에이전트를 믿지 말고 출발지 IP를 목록과 대조하세요. Anthropic은 옵트아웃에 IP 차단을 쓰지 말라고 권고합니다. 크롤러가 robots.txt를 읽지 못하게 되기 때문입니다.