웹사이트가 AI 크롤러를 차단하는지 확인하는 방법

주소를 붙여넣으면 GPTBot, ClaudeBot, PerplexityBot 등 AI 크롤러를 robots.txt나 방화벽, 또는 둘 다에서 차단하는지 확인할 수 있습니다.

무료 · 가입 불필요 · 30초 만에 결과

차단된 크롤러

GPTBot을 차단해도 OAI-SearchBot은 차단되지 않고, ClaudeBot을 차단해도 Claude-SearchBot은 차단되지 않습니다. 그래서 학습용, 검색용, 사용자 요청용 크롤러를 따로 보여줍니다.

결과를 정하는 규칙

각 크롤러에 대해 RFC 9309 규칙으로 robots.txt를 읽습니다. 크롤러 이름이 지정된 그룹, 없으면 User-agent: * 그룹을 기준으로, 최종 적용되는 규칙을 찾습니다.

방화벽의 요청 거부

페이지를 14개 크롤러로, 그리고 일반 브라우저로 각각 요청합니다. 차단과 확인 페이지는 표시하고, 응답한 방화벽의 이름도 알려줍니다.

모든 문제에 대한 해결 방법

발견된 문제마다 어떻게 바꿔야 하는지 함께 안내합니다. 무료 검사에서는 점수와 첫 번째 문제를 볼 수 있으며, 전체 보고서는 1회 결제 $29입니다.

핵심 답변

사이트는 두 곳에서 AI 크롤러를 차단할 수 있습니다. 크롤러에게 오지 말라고 요청하는 robots.txt와, 실제로 요청을 거부하는 서버나 방화벽입니다. robots.txt에서 크롤러별 토큰을 찾고, 없으면 User-agent: * 그룹을 확인하세요. 그다음 해당 크롤러로 페이지를 가져와 브라우저 결과와 비교하세요. 브라우저 확장 프로그램을 쓰면 16개 AI 크롤러의 robots.txt 확인을 클릭 한 번으로 끝낼 수 있습니다.

3단계로 직접 확인하기

  1. 크롤러 고르기

    AI 회사마다 크롤러를 따로 운영합니다. 학습용: GPTBot, ClaudeBot. 검색용: OAI-SearchBot, Claude-SearchBot, PerplexityBot. 사용자 요청용: ChatGPT-User, Claude-User, Perplexity-User.

  2. 해당 크롤러의 robots.txt 규칙 읽기

    https://example.com/robots.txt를 열고 해당 크롤러가 지정된 그룹을 찾으세요. 없으면 User-agent: * 그룹이 적용되고, 둘 다 없으면 모두 허용됩니다.

  3. 크롤러로 페이지 가져오기

    크롤러의 user agent로 페이지를 요청하고 상태 코드와 크기를 브라우저 결과와 비교하세요. 403, 확인 페이지, 또는 크기가 훨씬 작은 200은 방화벽이 거부한다는 뜻입니다.

자주 묻는 질문

robots.txt가 없는 사이트는 AI 크롤러에 열려 있나요?

robots.txt만 놓고 보면 그렇습니다. robots.txt가 404이면 규칙이 없다는 뜻이므로 모든 크롤러가 모든 페이지를 가져갈 수 있습니다. 다만 방화벽이 크롤러를 차단할 수는 있습니다.

확장 프로그램이 방화벽 차단도 보여 주나요?

아니요. 확장 프로그램은 브라우저에서 robots.txt를 읽어 사이트가 크롤러에게 무엇을 요청하는지 보여 줍니다. 방화벽과 봇 차단을 확인하려면 크롤러로서 보낸 요청이 필요하며, aiseewhy.com의 전체 검사가 그 일을 합니다.

내 사이트가 아니어도 확인할 수 있나요?

네. robots.txt는 공개되어 있고, 확장 프로그램은 사이트가 공개한 robots.txt와 llms.txt 파일만 읽습니다. 모든 크롤러가 읽는 것과 같은 파일입니다.

전체 가이드 읽기

변경 후 내 사이트를 확인하든, 다른 사람의 사이트에 의존하기 전에 살펴보든, "이 사이트는 AI 크롤러를 차단하나?"라는 질문에는 정확한 답이 있습니다. 답은 어떤 크롤러를 말하는지에 따라 달라집니다. AI 회사들은 학습, 검색, 실시간 방문용 크롤러를 따로 운영하고, 사이트는 각각을 다르게 다룰 수 있기 때문입니다. 이 가이드에서는 가장 빠른 방법부터 가장 완전한 방법까지 세 가지 확인 방법을 소개합니다.

사이트는 어디에서 AI 크롤러를 차단할 수 있나요?

층은 세 가지이며, 크롤러가 페이지를 활용하려면 세 층을 모두 통과해야 합니다.

  • robots.txt: 규칙을 지키는 크롤러가 무엇이든 가져오기 전에 읽는 공개 규칙 파일입니다. 요청일 뿐 잠금장치는 아닙니다.
  • 서버, CDN 또는 방화벽: 실제로 무엇을 돌려보낼지 결정합니다. robots.txt가 허용하더라도 봇 차단 규칙이 크롤러에게 403, 429 또는 확인 페이지로 응답할 수 있습니다.
  • 페이지 자체: 본문이 JavaScript 실행 후에만 나타나면, 처음 받은 HTML을 읽는 크롤러는 아무것도 차단하지 않았는데도 거의 빈 페이지를 받습니다.

대부분의 빠른 확인은 첫 번째 층만 봅니다. 나머지 두 층을 기억한다면 좋은 출발점입니다.

AI 크롤러 하나에 대해 robots.txt를 어떻게 읽나요?

브라우저에서 https://example.com/robots.txt를 열고 해당 크롤러에 적용되는 그룹을 찾으세요. 그룹은 하나 이상의 User-agent 줄로 시작합니다. 크롤러는 GPTBot처럼 자신의 토큰을 지정한 그룹을 사용하며, 대소문자는 구분하지 않습니다. 지정한 그룹이 없으면 User-agent: * 그룹을 사용하고, 둘 다 없으면 모든 것이 허용됩니다.

그룹 안에서는 일치하는 경로가 가장 긴 규칙이 우선하고, Allow와 Disallow의 길이가 같으면 Allow가 우선합니다. 따라서 아래 파일은 GPTBot을 사이트 전체에서 차단하지만 다른 모든 크롤러는 허용합니다.

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

파일이 어떻게 응답하는지도 확인하세요. RFC 9309에 따르면 404는 규칙이 없다는 뜻이므로 모든 것이 허용됩니다. 서버 오류(5xx)가 나거나 아예 응답이 없으면 크롤러는 사이트 전체를 금지된 것으로 취급해야 합니다. robots.txt 주소가 HTML 페이지를 돌려주는 것은 흔한 실수인데, 크롤러는 그 안에서 유효한 규칙을 찾지 못합니다.

모든 AI 크롤러를 한 번에 확인하려면?

신경 쓰는 크롤러가 둘 이상이 되면 파일을 직접 읽는 일은 느려집니다. AI 회사마다 역할이 다른 크롤러를 여러 개 운영합니다.

  • 학습 크롤러는 모델 학습용 콘텐츠를 수집합니다: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, 그리고 robots.txt에만 나타나는 Google-Extended와 Applebot-Extended 토큰.
  • 검색 크롤러는 AI 답변이 인용할 수 있도록 페이지를 색인합니다: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • 사용자 크롤러는 사람이 어시스턴트에게 요청할 때 페이지를 가져옵니다: ChatGPT-User, Claude-User, Perplexity-User.

무료 Chrome 확장 프로그램인 AI 크롤러 검사기를 쓰면 이 작업을 클릭 한 번으로 할 수 있습니다. 아무 페이지나 열고 아이콘을 클릭하면 해당 사이트의 robots.txt를 읽어, 16개 크롤러 각각에 대해 페이지가 허용되는지와 어느 줄이 그것을 결정하는지 보여 줍니다. Content-Signal 설정, llms.txt 유무, robots.txt에 나열된 사이트맵도 보여 줍니다. 브라우저 안에서 실행되고, 계정이 필요 없으며, 클릭한 사이트만 읽습니다.

Chrome을 쓰지 않는다면 aiseewhy.com의 무료 robots.txt 검사기에 URL을 붙여 넣어 같은 답을 얻을 수 있습니다.

방화벽이 크롤러를 통과시키는지 어떻게 확인하나요?

robots.txt는 사이트가 무엇을 요청하는지 보여 줍니다. 크롤러가 실제로 무엇을 받는지 보려면 페이지를 두 번 요청하세요. 한 번은 브라우저로, 한 번은 크롤러의 user agent로 보낸 뒤 상태 코드와 응답 크기를 비교합니다.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

브라우저는 200을 받는데 크롤러는 403, 429, 503이나 훨씬 작은 페이지를 받는다면, 방화벽이나 봇 차단 기능이 크롤러를 다르게 취급하고 있는 것입니다. 모든 외부 테스트에는 한 가지 한계가 있습니다. 요청이 AI 회사의 네트워크가 아니라 내 네트워크에서 나간다는 점입니다. 공개된 IP 주소로 크롤러를 신뢰하는 방화벽은 실제 크롤러를 다르게 취급할 수 있으므로, 최종 판단은 서버 로그로 하세요.

aiseewhy.com의 전체 검사는 실제 브라우저와 나란히 16개 크롤러 모두로 페이지를 가져오고, 크롤러를 차단하는 방화벽이나 규칙을 알려 주며, 각 크롤러가 받은 텍스트를 비교합니다.

어떤 결과를 목표로 해야 하나요?

원하는 바에 따라 다릅니다. ChatGPT 검색, Claude, Perplexity에서 인용되고 싶다면 검색 크롤러와 사용자 크롤러를 robots.txt에서 허용해야 하고, 서버에서 실제 페이지를 받을 수 있어야 합니다. 콘텐츠가 학습에 쓰이길 원하지 않는다면 학습 토큰만 차단하세요. 둘은 별개의 선택입니다. GPTBot을 차단해도 OAI-SearchBot은 차단되지 않고, ClaudeBot을 차단해도 Claude-SearchBot은 차단되지 않습니다.

많은 사이트가 이 둘을 혼동합니다. 가장 인기 있는 도메인 1,000개를 다룬 2026년 11월 보고서에서, 학습 크롤러를 차단한 사이트의 63%가 AI 검색 크롤러나 사용자 크롤러도 하나 이상 차단해, 해당 AI 답변에서 자기 페이지를 빼고 있었습니다.

무료 도구

다음 단계

이 글에 나오는 크롤러

참고 자료

다른 글

게시일