AI 크롤러를 차단하지 않고 속도를 늦추는 방법

게시일

핵심 답변

차단 대신 속도를 제한하세요. 초과한 크롤러 요청에는 Retry-After 헤더와 함께 429나 503으로 응답하고, 크롤러마다 별도 한도를 두고, /robots.txt는 모든 제한에서 빼고, 크롤러에는 캐시로 응답하세요. robots.txt의 Crawl-delay는 운영사가 문서화한 경우에만 효과가 있습니다. Anthropic과 Bing은 지원하고, Google은 지원하지 않는다고 밝히며, OpenAI와 Perplexity는 언급하지 않습니다. AI 검색 크롤러는 계속 허용하세요. 그렇지 않으면 그들이 만드는 답변에서도 빠집니다.

크롤러가 시간당 수천 건의 요청을 보내면 손쉬운 해결책은 Disallow: /나 방화벽 차단입니다. 학습 크롤러라면 합리적인 선택일 수 있습니다. 하지만 OAI-SearchBot, Claude-SearchBot, PerplexityBot에 그렇게 하면 노출되고 싶은 AI 답변에서 내 페이지가 빠집니다. 대부분은 그런 손해 없이 크롤러가 이미 이해하는 신호로 부하를 줄일 수 있습니다. 상태 코드, 캐싱, 그리고 일부 운영사에 한해 Crawl-delay입니다.

이 글의 목차
  1. 실제로 부하를 일으키는 크롤러는 무엇인가요?
  2. Crawl-delay는 AI 크롤러에 효과가 있나요?
  3. 429와 503 응답은 어떻게 크롤러를 늦추나요?
  4. AI 크롤러에 속도 제한을 어떻게 설정하나요?
  5. 캐싱으로 크롤러 부하를 줄일 수 있나요?
  6. 크롤러 속도를 늦출 때 피해야 할 것은?
  7. 크롤러가 여전히 통과하는지 어떻게 확인하나요?

실제로 부하를 일으키는 크롤러는 무엇인가요?

무엇이든 바꾸기 전에 먼저 살펴보세요. 접근 로그에서 user agent별, 시간별 요청 수를 세고, 요청 IP를 각 업체가 공개한 대역과 대조하세요. 서버 로그에서 AI 크롤러를 확인하는 가이드에 명령이 나와 있습니다. 자주 나오는 결과는 두 가지입니다.

크롤러를 역할별로도 나눠 보세요. GPTBot, ClaudeBot 같은 학습 크롤러는 AI 검색에서 인용되게 해 주는 크롤러가 아니므로, 그중 하나가 문제라면 차단하는 것도 합리적인 선택입니다. 이 가이드의 나머지는 유지하고 싶은 크롤러를 위한 내용입니다.

Crawl-delay는 AI 크롤러에 효과가 있나요?

Crawl-delay는 RFC 9309에 없으므로 읽을지는 운영사마다 정합니다. 2026년 11월 기준 문서 내용은 다음과 같습니다.

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

그룹 규칙에 주의하세요. 자기 이름의 그룹을 찾은 크롤러는 User-agent: * 그룹을 완전히 무시하므로, Crawl-delay만 든 ClaudeBot 그룹은 다른 모든 크롤러에 설정한 Disallow를 모두 빠뜨리게 됩니다. 위 예처럼 반복해서 적으세요. Bing은 Crawl-delay를 어느 그룹에서든 읽는 예외로 설명하지만, 다른 크롤러도 그렇다고 가정하지 마세요.

429와 503 응답은 어떻게 크롤러를 늦추나요?

부하가 몰릴 때는 상태 코드가 크롤러가 따르도록 만들어진 신호입니다. RFC 6585에 정의된 429 Too Many Requests는 클라이언트가 정해진 시간 안에 너무 많은 요청을 보냈다는 뜻이며, 얼마나 기다릴지 알려 주는 Retry-After 헤더를 붙일 수 있습니다. 503 Service Unavailable은 서버가 지금 감당하지 못한다는 뜻입니다.

Google은 이를 Googlebot의 크롤링 속도를 빠르게 줄이는 방법으로 문서화했습니다. 일부 크롤링 요청에 200 대신 500, 503, 429를 반환하는 것입니다. Google은 이렇게 하면 호스트 이름 전체의 크롤링 속도가 낮아지며, Retry-After에는 초 단위 숫자나 날짜를 넣을 수 있다고 밝힙니다.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

짧게만 쓰세요. Google은 하루나 이틀 넘게 이렇게 하지 말라고 권합니다. 여러 날 이런 코드를 반환하는 URL은 색인에서 빠질 수 있기 때문입니다. 장기적으로 줄이려면 Google은 대신 Search Console을 통한 특별 요청을 안내합니다.

OpenAI, Anthropic, Perplexity는 자사 크롤러가 429, 503, Retry-After에 어떻게 반응하는지 문서화하지 않았습니다. 이 코드들이 요청을 줄여 달라고 알리는 표준 방법이지만, AI 크롤러마다 얼마나 빨리 물러나는지는 찾아볼 수 없습니다.

AI 크롤러에 속도 제한을 어떻게 설정하나요?

모든 트래픽에 한도 하나를 두지 말고 크롤러마다 별도 한도를 두고, 초과 요청에는 429로 응답하세요. nginx에서는 limit_req 모듈이 이 일을 합니다. 키가 비어 있는 요청은 세지 않으므로, 크롤러 user agent에만 키를 돌려주는 map을 쓰면 사람 방문자는 영향을 받지 않습니다. 아래 예에서는 크롤러마다 분당 60건, burst 20건을 허용합니다.

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

여기서 키는 user agent이므로 크롤러 이름을 흉내 내는 누구든 그 크롤러의 한도를 함께 씁니다. 속도 제한이라면 괜찮습니다. 허용 규칙에는 업체가 공개한 IP 대역도 함께 맞추세요.

Cloudflare에서는 속도 제한 규칙이 엣지에서 같은 일을 합니다. Free 요금제에서는 규칙 하나를 쓸 수 있고, 10초 동안 IP별로 세며, 규칙 표현식에 경로와 Verified Bot 필드를 쓸 수 있습니다. 요청을 여러 주소로 분산하는 크롤러에는 IP별 집계가 거친 편이며, 상위 요금제에서 집계 옵션이 늘어납니다. 기본 응답은 429이고 다른 4xx 코드와 사용자 지정 본문을 설정할 수 있습니다. AI Crawl Control은 크롤러마다 Allow, Block, 그리고 비공개 베타로 Charge를 제공하지만 속도 설정은 없습니다.

무엇을 쓰든 /robots.txt는 제한에서 빼세요. RFC 9309는 robots.txt에 서버 오류가 나면 크롤러가 사이트 전체를 차단된 것으로 간주해야 한다고 규정하며, Google은 파일이 없는 것으로 취급하는 4xx 코드에서 429를 제외합니다.

캐싱으로 크롤러 부하를 줄일 수 있나요?

속도 제한보다 효과가 큰 경우가 많습니다. 크롤러는 대부분 모든 방문자에게 같은 공개 페이지를 요청하므로, CDN이나 페이지 캐시로 응답하면 비싼 렌더링이 저렴한 캐시 히트로 바뀝니다. 캐시가 크롤러 user agent용으로 캐시되지 않는 별도 버전을 두지 않는지 확인하세요.

조건부 요청도 도움이 됩니다. Google은 자사 크롤러가 ETag와 If-None-Match, Last-Modified와 If-Modified-Since를 이용한 HTTP 캐싱을 지원하며, 둘 다 있으면 ETag를 쓴다고 밝힙니다. OpenAI, Anthropic, Perplexity의 크롤러 페이지는 조건부 요청을 보내는지 밝히지 않으므로, 이 절감 효과는 Google에만 기대하세요.

크롤러 속도를 늦출 때 피해야 할 것은?

크롤러가 여전히 통과하는지 어떻게 확인하나요?

속도 제한은 지나치게 빡빡하게 걸기 쉽습니다. 무료 AISeeWhy 점검은 실제 브라우저와 함께 16개 AI·검색 크롤러로 페이지를 가져오고, 크롤러별로 robots.txt를 적용하며, 방화벽 확인 페이지를 알아보므로, 크롤러에게 브라우저와 다르게 응답하는 규칙이 드러납니다. 크롤러당 요청 한 번으로는 적절한 한도에 걸리지 않으며, 바로 그 점이 핵심입니다. 규칙을 바꾼 뒤 실행해 정상 요청이 여전히 통과하는지 확인하세요. 무료 AI 크롤러 IP 확인 도구는 로그에 있는 IP가 정말 GPTBot이나 다른 크롤러의 것인지 알려 줍니다.

무료 도구

다음 단계

이 글에 나오는 크롤러

자주 묻는 질문

Google은 Crawl-delay를 지원하나요?

아니요. Google robots.txt 문서는 crawl-delay를 지원하지 않는 필드로 나열합니다. Googlebot을 잠시 늦추려면 일부 요청에 503, 500, 429를 반환하세요. 더 오래 줄이려면 Google이 Search Console을 통한 특별 요청을 제공합니다.

ClaudeBot은 Crawl-delay를 따르나요?

Anthropic은 비표준 Crawl-delay 확장을 지원한다고 밝힙니다. ClaudeBot 그룹에 넣고, User-agent: * 그룹의 Disallow 규칙도 거기에 반복해서 적으세요.

GPTBot과 PerplexityBot은 Crawl-delay를 지원하나요?

OpenAI와 Perplexity의 크롤러 페이지는 Crawl-delay를 언급하지 않으므로 효과는 문서화되어 있지 않습니다. 초과 요청에 429로 응답하는 서버 측 제한을 쓰세요.

429 응답이 검색 순위에 해가 되나요?

짧은 기간이라면 아닙니다. Google은 429와 503을 크롤링을 일시적으로 줄이는 방법으로 문서화했지만, 여러 날 이런 코드를 반환하는 URL은 색인에서 빠질 수 있다고 경고합니다.

부하를 줄이려면 GPTBot을 차단해야 하나요?

그래도 됩니다. OpenAI는 GPTBot이 학습에 쓰일 수 있는 콘텐츠를 크롤링하고 robots.txt 설정은 각각 독립적이라고 밝히므로, 이를 차단해도 OAI-SearchBot을 쓰는 ChatGPT 검색에서는 빠지지 않습니다. 먼저 로그를 확인해 부하가 정말 OpenAI 주소에서 오는지 확인하세요.

참고 자료

다른 글