如何在不屏蔽的情况下降低 AI 爬虫的抓取速度
用限速代替屏蔽。对爬虫的超额请求返回 429 或 503 并附带 Retry-After 响应头,为每个爬虫设定单独的额度,让 /robots.txt 不受任何限速影响,并用缓存为爬虫提供页面。robots.txt 中的 Crawl-delay 只在运营方文档声明支持时才有效:Anthropic 和 Bing 支持,Google 表示不支持,OpenAI 和 Perplexity 没有提及。请继续放行 AI 搜索爬虫,否则你也会从它们提供内容的回答中消失。
当一个爬虫每小时发送数千个请求时,最快的办法是写 Disallow: / 或在防火墙上屏蔽。对训练爬虫来说,这可能是合理的选择。但对 OAI-SearchBot、Claude-SearchBot 或 PerplexityBot 来说,这会让你的页面从你想出现的 AI 回答中消失。大多数情况下,不必放弃这一点也能降低负载,只要使用爬虫本来就理解的信号:状态码、缓存,以及对部分运营方有效的 Crawl-delay。
本页内容
到底是哪个爬虫造成了负载?
在做任何更改之前先看清楚。在访问日志中按 user agent 和小时统计请求数,并将来源 IP 与各厂商公布的范围进行核对;我们关于在服务器日志中查找 AI 爬虫的指南提供了相关命令。经常会出现两种情况:
- 大量流量只是冒充 AI 爬虫。如果这些 IP 不在厂商的列表中,针对真正爬虫的规则就帮不上忙。请改为按来源限制或屏蔽这些流量。
- 真正的爬虫陷入了抓取陷阱,例如无穷无尽的日历页面、筛选组合或 URL 中的会话 ID。用
Disallow规则封住这些路径上的陷阱,比任何限速都更省资源。
还要按用途区分爬虫。GPTBot 和 ClaudeBot 等训练爬虫并不是让你在 AI 搜索中被引用的爬虫,所以如果问题出在其中之一,禁止它是一个合理的选择。本指南其余部分针对的是你想保留的爬虫。
Crawl-delay 对 AI 爬虫有效吗?
Crawl-delay 不属于 RFC 9309,所以由各运营方自行决定是否读取。截至 2026 年 11 月,文档是这样说的:
- Anthropic:支持。其帮助页面表示支持非标准的
Crawl-delay扩展来限制抓取活动,示例是在ClaudeBot规则组中写Crawl-delay: 1。 - Microsoft Bing:支持。Bing 网站管理员博客将该值描述为 1 到 30 秒的时间窗口,
bingbot在其中最多抓取一个页面,并表示 robots.txt 中的抓取延迟优先于 Bing Webmaster Tools 中的抓取设置。 - Google:不支持。Google 的 robots.txt 文档将
crawl-delay列为其不支持的字段。 - OpenAI 和 Perplexity:它们的爬虫页面没有提到它,所以它对
GPTBot、OAI-SearchBot或PerplexityBot的效果没有文档说明。
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ 注意规则组的逻辑。找到以自己名称命名的规则组的爬虫,会完全忽略 User-agent: * 规则组,所以只包含 Crawl-delay 的 ClaudeBot 规则组会丢掉你为其他所有爬虫设置的每条 Disallow。请像上面那样重复写上它们。Bing 把 Crawl-delay 描述为一个例外,它会从任一规则组中读取,但不应假定其他爬虫也是如此。
429 和 503 响应如何让爬虫放慢速度?
对于负载高峰,状态码是爬虫天生就会遵守的信号。RFC 6585 定义的 429 Too Many Requests 表示客户端在给定时间内发送了过多请求,并且可以附带 Retry-After 响应头说明需要等待多久。503 Service Unavailable 表示服务器当前无法处理。
Google 的文档把这作为快速降低 Googlebot 抓取速度的方法:对部分抓取请求返回 500、503 或 429,而不是 200。Google 表示,这会降低整个主机名的抓取速度,而且 Retry-After 可以填写秒数或日期。
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. 时间要短。Google 建议不要持续超过一两天,因为连续几天返回这些状态码的 URL 可能会被从索引中删除。如需长期降低抓取速度,Google 提供了通过 Search Console 提交的特别请求。
OpenAI、Anthropic 和 Perplexity 没有在文档中说明它们的爬虫如何应对 429、503 或 Retry-After。这些状态码是请求减少抓取的标准方式,但每个 AI 爬虫退避得有多快,是查不到的。
如何为 AI 爬虫设置速率限制?
为每个爬虫设定单独的额度,而不是对所有流量使用同一个限制,并对超出的请求返回 429。在 nginx 中,limit_req 模块可以做到这一点。键为空的请求不会被计数,所以只为爬虫 user agent 返回键的 map 不会影响真人访问者。下面的配置让每个爬虫每分钟 60 个请求,突发上限为 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} 这里的键是 user agent,所以任何冒用某个爬虫名称的人都会与该爬虫共享额度。对于速率限制来说,这可以接受。对于放行规则,还要同时匹配厂商公布的 IP 范围。
在 Cloudflare 上,速率限制规则在边缘完成同样的工作。Free 套餐提供一条规则,按 IP 在 10 秒内计数,规则表达式可以使用路径和 Verified Bot 字段。对于把请求分散到多个地址的爬虫,按 IP 计数比较粗糙,更高级的套餐提供更多计数选项。默认响应是 429,你也可以设置其他 4xx 状态码和自定义响应内容。AI Crawl Control 为每个爬虫提供 Allow、Block,以及处于内测阶段的 Charge,但没有速率设置。
无论使用哪种方式,都不要让 /robots.txt 受限速影响。RFC 9309 规定,robots.txt 返回服务器错误意味着爬虫必须假定整个网站都被禁止,而 Google 把 429 排除在它视为文件不存在的 4xx 状态码之外。
缓存能减轻爬虫负载吗?
往往比速率限制更有效。爬虫请求的大多是对每位访问者都相同的公开页面,所以从 CDN 或页面缓存提供这些页面,可以把昂贵的渲染变成廉价的缓存命中。请检查你的缓存没有为爬虫 user agent 单独保留一个不缓存的版本。
条件请求也有帮助。Google 表示其爬虫支持使用 ETag 和 If-None-Match,以及 Last-Modified 和 If-Modified-Since 的 HTTP 缓存,两者同时存在时使用 ETag。OpenAI、Anthropic 和 Perplexity 的爬虫页面没有说明它们的爬虫是否发送条件请求,所以只有对 Google 才能指望这项节省。
降低爬虫速度时应避免什么?
- 在防火墙上屏蔽某个厂商的 IP 范围。Anthropic 警告说,这样做可能无法正常生效,也可能无法保持退出设置,因为这会让它的机器人无法读取你的 robots.txt。
- 连续几天返回
5xx或429。Google 表示,持续返回这些状态码的 URL 可能会被从索引中删除。 - 用机器人防护来限流。Cloudflare 的 Bot Fight Mode 会向机器人发出计算量很大的验证,并且不能用 WAF 自定义规则跳过,所以你无法为想保留的爬虫设置例外。
- 为节省带宽而禁止搜索爬虫。针对
OAI-SearchBot、Claude-SearchBot或PerplexityBot的Disallow会让你从这些爬虫提供内容的回答中消失。
如何确认爬虫仍然能够访问?
速率限制很容易设得过严。AISeeWhy 免费检查会与真实浏览器并列,以 16 个 AI 和搜索爬虫的身份抓取页面,按爬虫应用你的 robots.txt,并识别防火墙验证页面,所以对爬虫和浏览器区别对待的规则会暴露出来。每个爬虫只发一个请求,不会触发合理的限速,这正是目的所在:修改规则后运行一次,确认正常请求仍能通过。免费的 AI 爬虫 IP 检查会告诉你日志中的某个 IP 是否真的属于 GPTBot 或其他爬虫。
下一步
本文涉及的爬虫
常见问题
Google 支持 Crawl-delay 吗?
不支持。Google 的 robots.txt 文档把 crawl-delay 列为其不支持的字段。要短时间内让 Googlebot 放慢速度,请对部分请求返回 503、500 或 429;如需更长时间的降速,Google 提供了通过 Search Console 提交的特别请求。
ClaudeBot 遵守 Crawl-delay 吗?
Anthropic 表示支持非标准的 Crawl-delay 扩展。请把它放在 ClaudeBot 规则组中,并在那里重复 User-agent: * 规则组中的所有 Disallow 规则。
GPTBot 和 PerplexityBot 支持 Crawl-delay 吗?
OpenAI 和 Perplexity 的爬虫页面都没有提到 Crawl-delay,所以它的效果没有文档说明。请使用服务器端限制,对超额请求返回 429。
返回 429 会影响我的排名吗?
短时间内不会。Google 在文档中把 429 和 503 作为临时减少抓取的方法,但警告说连续几天返回它们的 URL 可能会被从索引中删除。
我应该屏蔽 GPTBot 来减轻负载吗?
可以。OpenAI 表示 GPTBot 抓取的内容可能用于训练,而且每项 robots.txt 设置都是独立的,所以禁止它不会让你从使用 OAI-SearchBot 的 ChatGPT 搜索中消失。请先检查日志,确认负载确实来自 OpenAI 的地址。
参考资料
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers(HTTP 缓存)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers