如何在不屏蔽的情况下降低 AI 爬虫的抓取速度

发布于

简短回答

用限速代替屏蔽。对爬虫的超额请求返回 429 或 503 并附带 Retry-After 响应头,为每个爬虫设定单独的额度,让 /robots.txt 不受任何限速影响,并用缓存为爬虫提供页面。robots.txt 中的 Crawl-delay 只在运营方文档声明支持时才有效:Anthropic 和 Bing 支持,Google 表示不支持,OpenAI 和 Perplexity 没有提及。请继续放行 AI 搜索爬虫,否则你也会从它们提供内容的回答中消失。

当一个爬虫每小时发送数千个请求时,最快的办法是写 Disallow: / 或在防火墙上屏蔽。对训练爬虫来说,这可能是合理的选择。但对 OAI-SearchBot、Claude-SearchBot 或 PerplexityBot 来说,这会让你的页面从你想出现的 AI 回答中消失。大多数情况下,不必放弃这一点也能降低负载,只要使用爬虫本来就理解的信号:状态码、缓存,以及对部分运营方有效的 Crawl-delay。

本页内容
  1. 到底是哪个爬虫造成了负载?
  2. Crawl-delay 对 AI 爬虫有效吗?
  3. 429 和 503 响应如何让爬虫放慢速度?
  4. 如何为 AI 爬虫设置速率限制?
  5. 缓存能减轻爬虫负载吗?
  6. 降低爬虫速度时应避免什么?
  7. 如何确认爬虫仍然能够访问?

到底是哪个爬虫造成了负载?

在做任何更改之前先看清楚。在访问日志中按 user agent 和小时统计请求数,并将来源 IP 与各厂商公布的范围进行核对;我们关于在服务器日志中查找 AI 爬虫的指南提供了相关命令。经常会出现两种情况:

还要按用途区分爬虫。GPTBot 和 ClaudeBot 等训练爬虫并不是让你在 AI 搜索中被引用的爬虫,所以如果问题出在其中之一,禁止它是一个合理的选择。本指南其余部分针对的是你想保留的爬虫。

Crawl-delay 对 AI 爬虫有效吗?

Crawl-delay 不属于 RFC 9309,所以由各运营方自行决定是否读取。截至 2026 年 11 月,文档是这样说的:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

注意规则组的逻辑。找到以自己名称命名的规则组的爬虫,会完全忽略 User-agent: * 规则组,所以只包含 Crawl-delay 的 ClaudeBot 规则组会丢掉你为其他所有爬虫设置的每条 Disallow。请像上面那样重复写上它们。Bing 把 Crawl-delay 描述为一个例外,它会从任一规则组中读取,但不应假定其他爬虫也是如此。

429 和 503 响应如何让爬虫放慢速度?

对于负载高峰,状态码是爬虫天生就会遵守的信号。RFC 6585 定义的 429 Too Many Requests 表示客户端在给定时间内发送了过多请求,并且可以附带 Retry-After 响应头说明需要等待多久。503 Service Unavailable 表示服务器当前无法处理。

Google 的文档把这作为快速降低 Googlebot 抓取速度的方法:对部分抓取请求返回 500、503 或 429,而不是 200。Google 表示,这会降低整个主机名的抓取速度,而且 Retry-After 可以填写秒数或日期。

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

时间要短。Google 建议不要持续超过一两天,因为连续几天返回这些状态码的 URL 可能会被从索引中删除。如需长期降低抓取速度,Google 提供了通过 Search Console 提交的特别请求。

OpenAI、Anthropic 和 Perplexity 没有在文档中说明它们的爬虫如何应对 429、503 或 Retry-After。这些状态码是请求减少抓取的标准方式,但每个 AI 爬虫退避得有多快,是查不到的。

如何为 AI 爬虫设置速率限制?

为每个爬虫设定单独的额度,而不是对所有流量使用同一个限制,并对超出的请求返回 429。在 nginx 中,limit_req 模块可以做到这一点。键为空的请求不会被计数,所以只为爬虫 user agent 返回键的 map 不会影响真人访问者。下面的配置让每个爬虫每分钟 60 个请求,突发上限为 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

这里的键是 user agent,所以任何冒用某个爬虫名称的人都会与该爬虫共享额度。对于速率限制来说,这可以接受。对于放行规则,还要同时匹配厂商公布的 IP 范围。

在 Cloudflare 上,速率限制规则在边缘完成同样的工作。Free 套餐提供一条规则,按 IP 在 10 秒内计数,规则表达式可以使用路径和 Verified Bot 字段。对于把请求分散到多个地址的爬虫,按 IP 计数比较粗糙,更高级的套餐提供更多计数选项。默认响应是 429,你也可以设置其他 4xx 状态码和自定义响应内容。AI Crawl Control 为每个爬虫提供 Allow、Block,以及处于内测阶段的 Charge,但没有速率设置。

无论使用哪种方式,都不要让 /robots.txt 受限速影响。RFC 9309 规定,robots.txt 返回服务器错误意味着爬虫必须假定整个网站都被禁止,而 Google 把 429 排除在它视为文件不存在的 4xx 状态码之外。

缓存能减轻爬虫负载吗?

往往比速率限制更有效。爬虫请求的大多是对每位访问者都相同的公开页面,所以从 CDN 或页面缓存提供这些页面,可以把昂贵的渲染变成廉价的缓存命中。请检查你的缓存没有为爬虫 user agent 单独保留一个不缓存的版本。

条件请求也有帮助。Google 表示其爬虫支持使用 ETag 和 If-None-Match,以及 Last-Modified 和 If-Modified-Since 的 HTTP 缓存,两者同时存在时使用 ETag。OpenAI、Anthropic 和 Perplexity 的爬虫页面没有说明它们的爬虫是否发送条件请求,所以只有对 Google 才能指望这项节省。

降低爬虫速度时应避免什么?

如何确认爬虫仍然能够访问?

速率限制很容易设得过严。AISeeWhy 免费检查会与真实浏览器并列,以 16 个 AI 和搜索爬虫的身份抓取页面,按爬虫应用你的 robots.txt,并识别防火墙验证页面,所以对爬虫和浏览器区别对待的规则会暴露出来。每个爬虫只发一个请求,不会触发合理的限速,这正是目的所在:修改规则后运行一次,确认正常请求仍能通过。免费的 AI 爬虫 IP 检查会告诉你日志中的某个 IP 是否真的属于 GPTBot 或其他爬虫。

免费工具

下一步

本文涉及的爬虫

常见问题

Google 支持 Crawl-delay 吗?

不支持。Google 的 robots.txt 文档把 crawl-delay 列为其不支持的字段。要短时间内让 Googlebot 放慢速度,请对部分请求返回 503、500 或 429;如需更长时间的降速,Google 提供了通过 Search Console 提交的特别请求。

ClaudeBot 遵守 Crawl-delay 吗?

Anthropic 表示支持非标准的 Crawl-delay 扩展。请把它放在 ClaudeBot 规则组中,并在那里重复 User-agent: * 规则组中的所有 Disallow 规则。

GPTBot 和 PerplexityBot 支持 Crawl-delay 吗?

OpenAI 和 Perplexity 的爬虫页面都没有提到 Crawl-delay,所以它的效果没有文档说明。请使用服务器端限制,对超额请求返回 429。

返回 429 会影响我的排名吗?

短时间内不会。Google 在文档中把 429 和 503 作为临时减少抓取的方法,但警告说连续几天返回它们的 URL 可能会被从索引中删除。

我应该屏蔽 GPTBot 来减轻负载吗?

可以。OpenAI 表示 GPTBot 抓取的内容可能用于训练,而且每项 robots.txt 设置都是独立的,所以禁止它不会让你从使用 OAI-SearchBot 的 ChatGPT 搜索中消失。请先检查日志,确认负载确实来自 OpenAI 的地址。

参考资料

更多文章