Claude가 내 웹사이트를 볼 수 있을까? 확인 방법
Claude가 내 페이지를 읽으려면 robots.txt가 Anthropic의 에이전트를 허용하고, 서버가 브라우저에 보내는 것과 같은 HTML을 이들에게도 보내야 합니다. robots.txt에서 Claude-SearchBot이나 Claude-User를 차단하지 않았는지, 방화벽이 403이나 확인 페이지로 응답하지 않는지, 본문이 처음 받는 HTML에 들어 있는지 확인하세요. 그다음 Claude에서 직접 테스트하세요. 채팅에 URL을 붙여 넣고, 웹 검색을 켠 상태에서 구매자가 묻는 질문을 해 보세요.
Claude에 내 제품에 대해 물었는데 다른 사이트를 인용한다면, 먼저 따져 볼 것은 Claude가 내 사이트에 접근할 수 있는가입니다. 이 질문에는 직접 확인할 수 있는 답이 있습니다. Anthropic은 에이전트의 robots.txt 토큰과 요청이 오는 IP 주소를 공개하고, Claude는 사용한 출처를 보여 줍니다. 따라서 robots.txt가 무엇을 말하는지, 서버가 무엇을 보내는지, 로그에 무엇이 남는지, 페이지를 건넸을 때 Claude가 어떻게 처리하는지를 순서대로 점검할 수 있습니다.
이 글의 목차
5분 점검, 단계별로
- robots.txt를 열고
Claude-SearchBot,Claude-User,User-agent: *그룹 중 어느 것도 해당 페이지를 금지하지 않는지 확인하세요.ClaudeBot은 학습에만 관련됩니다. - AISeeWhy에서 페이지를 무료로 점검하거나
Claude-User사용자 에이전트로 요청을 하나 보내세요. 상태 200과 함께 브라우저와 같은 텍스트를 받아야 합니다. - 접근 로그에서
Claude-SearchBot과Claude-User를 검색해 이들이 받은 상태 코드를 확인하세요. - 웹 검색을 켠 Claude에 URL을 붙여 넣고 페이지를 요약해 달라고 한 다음, 구매자가 묻는 질문을 하고 인용을 확인하세요.
1단계나 2단계에서 문제가 있다면 접근부터 고치세요. 아래 섹션에서 방법을 설명합니다. Claude가 페이지를 읽지만 인용하지 않는다면 콘텐츠를 개선하세요.
Claude는 웹사이트를 어떻게 읽나요?
Claude는 두 가지 방식으로 웹에 접근합니다. 웹 검색을 쓰면 최신 정보가 필요한 질문에서 검색을 하고, 여러 출처를 검토한 뒤 인용과 함께 답합니다. Anthropic 고객센터는 웹 검색을 사용한 모든 응답에 인용이 포함된다고 밝힙니다. 누군가 Claude에 특정 링크를 주면 Claude는 그 페이지를 직접 열 수 있습니다.
Anthropic은 이를 위한 에이전트 세 가지를 문서화했고, 각각 고유한 robots.txt 토큰이 있습니다. Claude-SearchBot은 Claude의 검색 결과를 개선하려고 크롤링하고, Claude-User는 사용자의 질문에 필요할 때 페이지를 가져오며, ClaudeBot은 학습에 쓰일 수 있는 콘텐츠를 수집합니다. 각각이 하는 일은 Anthropic의 세 크롤러를 다룬 별도 가이드에서 자세히 설명합니다. 읽히고 인용되는 데 확인해야 할 것은 앞의 두 가지입니다.
솔직히 말하면 한계도 있습니다. Anthropic은 Claude의 웹 검색이 어떤 검색 색인을 쓰는지, 출처를 어떻게 고르는지 문서화하지 않았습니다. Claude-SearchBot을 차단하면 검색 결과에서 노출이 줄 수 있고, Claude-User를 차단하면 사용자 질문을 위한 페이지 가져오기가 막힌다고만 밝힙니다. 둘 다 허용하면 인용될 가능성이 생길 뿐, 인용이 보장되지는 않습니다.
robots.txt에서 Claude가 내 웹사이트에 접근할 수 있는지 어떻게 확인하나요?
https://yourdomain.com/robots.txt를 열고 Claude-SearchBot이나 Claude-User를 지정한 그룹이 있는지 찾아보세요. 둘 다 없다면 두 에이전트는 User-agent: * 그룹을 따릅니다. RFC 9309에 따라 토큰은 대소문자를 구분하지 않으며, 적용되는 그룹에 Disallow: /가 있으면 해당 에이전트에게 사이트 전체가 닫힙니다.
응답 자체도 확인하세요. 서버 오류를 반환하는 robots.txt는 크롤러에게 모든 것이 차단된 것으로 간주하라고 알리는 셈입니다. 404는 규칙이 없다는 뜻입니다. 다음 두 명령으로 상태와 파일의 모든 그룹을 볼 수 있습니다.
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic은 규칙이 각 하위 도메인의 최상위 robots.txt에 있어야 한다고 밝히므로, blog.example.com에는 별도 파일이 필요합니다. 이런 차단은 드물지 않습니다. 가장 인기 있는 도메인 1,000개를 조사한 결과, robots.txt를 제공한 518개 사이트 중 67곳(12.9%)이 Claude-SearchBot에, 68곳(13.1%)이 Claude-User에 홈페이지를 차단했고, 학습 크롤러 ClaudeBot을 차단한 곳은 110곳(21.2%)이었습니다.
Claude 에이전트가 내 서버에서 무엇을 받는지 어떻게 테스트하나요?
robots.txt는 요청일 뿐 접근 제어가 아닙니다. 내 브라우저에서는 페이지가 정상으로 보여도 방화벽, CDN, 봇 차단 기능이 Anthropic 에이전트에 403, 429, 확인 페이지로 응답할 수 있습니다. Anthropic은 자사 봇이 CAPTCHA를 우회하려 하지 않는다고 밝히므로, 확인 페이지가 나오면 방문은 거기서 끝납니다.
같은 URL을 브라우저 user agent와 각 Anthropic 토큰으로 요청한 뒤 상태와 크기를 비교하세요.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Anthropic 도움말 페이지는 토큰 이름만 밝히고 전체 user agent 문자열은 공개하지 않으므로, 위 문자열은 Anthropic의 실제 문자열이 아니라 테스트용입니다. 이름에 맞춰 동작하는 규칙이 요청을 어떻게 다루는지 보여 줍니다. Claude 줄에만 403, 429, 503이 나오거나, 200이지만 브라우저보다 훨씬 작다면 방화벽이 원인입니다.
이 테스트는 내 IP 주소에서 나갑니다. Anthropic은 claude.com/crawling/bots.json 목록에 있는 주소에서 온 요청이 Anthropic의 요청이라고 밝힙니다. 방화벽이 검증된 크롤러를 IP로 허용한다면 실제 에이전트는 통과하고 내 테스트는 차단될 수 있으며, 그 반대도 가능합니다. 이 목록은 Anthropic을 차단하는 데가 아니라 허용하는 데 쓰세요. IP로 차단하면 Anthropic 봇이 robots.txt조차 읽지 못하므로 Anthropic은 IP 차단을 권하지 않습니다.
Claude가 실제로 내 사이트를 방문하는지 어떻게 알 수 있나요?
접근 로그가 직접 답해 줍니다. 세 토큰으로 로그를 검색한 뒤, user agent 이름은 누구나 흉내 낼 수 있으므로 요청 주소가 Anthropic이 공개한 대역에 속하는지 확인하세요.
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' 첫 번째 명령은 흔히 쓰는 combined 로그 형식을 가정합니다. 이 형식에서 필드 1은 클라이언트 주소, 필드 9는 상태 코드입니다. Anthropic 에이전트 옆에 403이나 429가 많다면 방화벽 문제가 확실합니다. Claude-SearchBot의 방문이 전혀 없다면 아직 그 페이지를 크롤링하지 않았거나 그 앞 단계에서 무언가가 막고 있다는 뜻일 뿐입니다.
내 페이지로 Claude를 직접 테스트하려면 어떻게 하나요?
채팅을 열고 내 페이지 URL을 “이 페이지를 요약해 줘” 같은 요청과 함께 붙여 넣으세요. Anthropic 고객센터에 따르면 웹 검색이 켜져 있으면 Claude는 사용자가 준 링크를 열 수 있습니다. 웹 검색이 꺼져 있다면 + 메뉴에서 켜세요. Anthropic의 새 Claude 환경에는 토글이 없고, 도움이 될 때 Claude가 알아서 검색합니다. Team과 Enterprise 요금제에서는 소유자가 먼저 조직의 웹 검색을 활성화해야 합니다. 브라우저로는 열리는 페이지를 Claude가 열지 못한다면 방화벽 테스트로 돌아가세요.
그다음 내 사이트 이름을 대지 않고 구매자가 묻는 질문을 해 보고, 인용된 출처를 열어 보세요. Anthropic은 Claude가 지역에 맞는 결과를 위해 IP 주소로 추정한 위치를 쓸 수 있다고 밝히므로, 답변은 장소에 따라, 실행할 때마다 달라질 수 있습니다.
개발자는 Claude API로 같은 테스트를 반복할 수 있습니다. 웹 검색 도구는 allowed_domains 목록을 받으므로, 내 도메인으로 제한한 요청을 보내면 어떤 질문에 대해 Claude 검색이 내 페이지를 하나라도 찾는지 알 수 있습니다.
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' 검색 결과가 비어 있다면 그 질문에 대해 Claude 검색이 해당 도메인에서 아무것도 찾지 못했다는 뜻입니다. Anthropic은 API 웹 검색에 토큰 비용과 별도로 요금을 부과합니다. API의 웹 가져오기(web fetch) 도구는 페이지를 읽지 못한 이유도 알려 줍니다. url_not_allowed는 robots.txt 같은 차단을, url_not_accessible은 HTTP 오류를 뜻합니다. API 답변은 Claude 앱에서 보이는 것과 다를 수 있습니다.
Claude가 내 페이지를 읽을 수 있는데도 인용하지 않는다면?
먼저 필요한 텍스트가 서버가 보내는 HTML에 들어 있는지 확인하세요. Anthropic의 API 문서는 웹 가져오기 도구가 JavaScript로 렌더링되는 웹사이트를 지원하지 않는다고 밝히며, Anthropic은 자사 크롤러가 스크립트를 렌더링한다고 말한 적이 없습니다. curl로 페이지를 가져와 출력에서 본문 문장 하나를 검색해 보세요. 없다면 서버 사이드 렌더링이나 사전 렌더링으로 Claude와 대부분의 다른 AI 크롤러 문제를 함께 해결할 수 있습니다.
그다음은 페이지 자체가 결정합니다. 페이지의 핵심 질문에 대한 답을 첫 문장들에 넣고, 사람들이 묻는 질문과 맞는 제목을 쓰고, 발행 주체를 밝히고 날짜를 표시하세요. 그리고 같은 질문에 Claude가 인용하는 페이지와 내 페이지를 비교해 보세요. 인용된 페이지는 대개 바로 그 질문에 더 직접적으로 답합니다.
AISeeWhy는 이것을 어떻게 확인하나요?
무료 AISeeWhy 점검은 실제 브라우저와 함께 Claude-SearchBot, Claude-User, ClaudeBot 및 다른 AI·검색 크롤러로 페이지를 가져오고, 각각에 robots.txt를 적용하며, 확인 페이지를 알아보고, JavaScript 없이 얼마나 많은 텍스트가 전달되는지 보여 줍니다. 체험판과 유료 요금제의 AI 가시성 점검은 내 API 키로 웹 검색을 켠 Claude에 질문하고, 내 브랜드나 도메인이 언급 또는 인용되는지 보여 줍니다.
다음 단계
이 글에 나오는 크롤러
자주 묻는 질문
Claude가 내 사이트를 볼 수 있는지 무료로 확인할 수 있나요?
네. robots.txt, curl 요청, 서버 로그, Claude에 하는 질문은 모두 무료입니다. AISeeWhy 무료 점검은 계정 없이 하루 한 페이지에 대해 Anthropic의 에이전트와 그 밖의 크롤러 13개를 테스트합니다.
링크를 붙여 넣어도 Claude가 내 웹사이트를 열지 못하는 이유는?
흔한 원인은 Anthropic 에이전트에 403이나 확인 페이지로 응답하는 방화벽 또는 봇 차단 기능, Claude-User를 차단하는 robots.txt 규칙, JavaScript 실행 후에야 텍스트가 나타나는 페이지입니다. curl로 브라우저와 Claude 토큰을 각각 써서 URL을 테스트하고, 로그에서 차단된 요청을 확인하세요.
Anthropic은 테스트에 쓸 user agent 문자열을 공개하나요?
Anthropic의 크롤러 도움말 페이지에는 ClaudeBot, Claude-SearchBot, Claude-User 토큰만 나오고 전체 user agent 문자열은 없습니다. 실제 Anthropic 트래픽과 사칭을 구분하려면 요청 IP를 claude.com/crawling/bots.json 목록과 비교하세요.
robots.txt 변경이 Claude에 반영되기까지 얼마나 걸리나요?
Anthropic은 기간을 밝히지 않습니다. RFC 9309는 크롤러가 캐시한 robots.txt를 24시간 넘게 쓰지 말아야 한다고 규정하므로, 로그나 Claude 답변에서 결과를 판단하기 전에 최소 하루는 기다리세요.
Claude API와 Claude 앱은 같은 답을 주나요?
꼭 그렇지는 않습니다. 앱은 대략적인 위치와 자체 설정을 쓸 수 있지만, API 요청은 보낸 도구와 매개변수를 그대로 씁니다. API 결과는 반복 가능한 테스트로 보고, 각 사용자가 보는 화면과 같다고 여기지 마세요.
Claude가 내 브랜드를 언급하는지 어떻게 알 수 있나요?
웹 검색을 켠 상태에서 구매자가 묻는 질문을 Claude에 하고, 내 사이트를 언급하거나 인용하는지, 대신 어떤 경쟁사가 나오는지 기록하세요. 답변은 달라지므로 질문마다 몇 주에 걸쳐 반복하세요. AISeeWhy의 AI 가시성 점검은 내 키로 Claude API를 통해 매주 이를 실행하고, 최대 네 곳의 경쟁사와 나란히 보여 줍니다.
참고 자료
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: 크롤러 IP 주소 목록(bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: AI 크롤러 접근 보고서, 2026-11