如何针对某个 URL 和特定爬虫测试 robots.txt 规则?
要针对某个爬虫测试一个 URL,先找到点名该爬虫标识的分组(如果没有,就用 User-agent: *),收集其中所有与 URL 路径匹配的 Allow 和 Disallow 规则,然后采用最长的那条;长度相同时 Allow 优先。你可以手动判断,也可以用 Google 的开源解析器,或用一个按爬虫给出结论的检测工具。Search Console 中旧的 robots.txt 测试工具已经下线,取而代之的 robots.txt 报告只显示 Google 抓取到的内容,不会针对某个 URL 给出结论。
robots.txt 文件看起来很简单,直到你需要一个确切答案:GPTBot 可以抓取这个页面吗?OAI-SearchBot 呢?答案取决于爬虫选择哪个分组,以及该分组中哪条规则胜出,而这两步都很容易弄错。下面介绍 RFC 9309 下的匹配原理、四个实例,以及自己测试文件的三种方法。
本页内容
Google Search Console 中的 robots.txt 测试工具怎么了?
2023 年 11 月,Google 在 Search Console 中新增了 robots.txt 报告,并宣布停用 robots.txt 测试工具。该报告位于“设置”下,只涵盖 Google 的爬虫。它显示:
- Google 为你的资源中排名前 20 的主机找到的 robots.txt 文件。
- 每个文件的抓取状态(
Fetched、Not Fetched - Not found (404)或Not Fetched - Any other reason)、Google 上次检查的时间,以及文件大小(字节)。 - 文件中的问题。Google 表示,错误会导致规则无法使用,而警告不会。
- Google 在过去 30 天内抓取的各个版本,以及在你修复文件后请求重新抓取的按钮。
该报告不能输入 URL 并返回允许或屏蔽。要针对 Googlebot 检查某个 URL,Google 建议使用网址检查工具;要在本地测试,则建议使用其开源 robots.txt 库。两者都不会告诉你任何关于 GPTBot 或 ClaudeBot 等 AI 爬虫的信息。
爬虫如何判断一个 URL 是否被允许?
RFC 9309(Robots Exclusion Protocol,robots 排除协议)定义了匹配方式。Google 为其爬虫记录的行为与之相同。
- 选择分组。User-agent 匹配不区分大小写。如果有一个或多个分组点名了爬虫的标识,这些分组的规则会合并,
User-agent: *分组则被完全忽略。只有没有专属分组的爬虫才遵循*。 - 选择规则。在路径与 URL 匹配的
Allow和Disallow规则中,字符最多的那条胜出。如果一条Allow和一条Disallow一样长,应以Allow为准。 - 读懂模式。
*匹配任意长度的字符,$表示 URL 结尾。路径区分大小写,所以/Admin/不匹配/admin/。 - 没有匹配的规则就表示允许。
/robots.txt本身始终允许抓取。
robots.txt 的响应代码与其中的规则同样重要。4xx 响应意味着爬虫可以抓取所有内容;除 429 外,Google 把所有 4xx 都视为文件不存在。5xx 响应意味着爬虫必须假定整个网站都被禁止。Google 会在最初 12 小时内停止抓取,之后在最长 30 天内使用最后一份有效副本。RFC 9309 要求爬虫至少解析 500 KiB,Google 会忽略 500 KiB 之后的所有内容。
能演示一个 robots.txt 测试实例吗?
下面是一个小型 robots.txt,包含一个默认分组和两个点名的 AI 爬虫:
Googlebot与/search/help/billing:允许。没有 Googlebot 分组,所以适用*分组。Disallow: /search和Allow: /search/help都匹配,而Allow规则更长。GPTBot与/blog/post:屏蔽。GPTBot 有自己的分组,Disallow: /匹配所有路径。OAI-SearchBot与/admin/settings:允许。OAI-SearchBot 有自己的分组,所以*分组中的Disallow: /admin/对它不适用。这是最常见的意外;请在每个点名分组中重复共用的规则。OAI-SearchBot与/files/report.pdf:屏蔽。Allow: /匹配了一个字符,Disallow: /*.pdf$匹配了七个字符,较长的规则胜出。
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ 长度相同的情况较少见,但遵循同样的逻辑。Google 的文档举了 allow: /folder 和 disallow: /folder 对 URL /folder/page 的例子:两者长度相同,所以该 URL 被允许。
如何运行 Google 的开源 robots.txt 解析器?
Google 公开了其在生产环境中用于匹配 robots.txt 规则的 C++ 库,并附带一个小型命令行程序,可以针对本地文件测试一个 URL 和一个用户代理。安装 Bazel 后:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed 该仓库还说明了 CMake 构建方式,会生成一个名为 robots、参数相同的可执行文件。这个工具只做解析和匹配,不会下载 robots.txt,所以请先保存线上文件。其 README 还指出,解析和匹配之外的爬虫特定行为不属于该库的范围。
可以用 Python 的 urllib.robotparser 测试 robots.txt 吗?
Python 标准库包含一个解析器,可以针对某个用户代理和 URL 回答允许还是屏蔽。下面的脚本测试上面的示例:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") 在相信输出结果之前,先检查你的 Python 版本。CPython 在 2026 年加入了对 RFC 9309 匹配方式的支持,并首先随 Python 3.13.14 和 3.14.5 发布。更早的版本,包括 3.12 及之前的所有版本,采用的是文件中第一条匹配的规则,而不是最长的规则,也不理解路径中的 * 或 $。在这些版本上,脚本会把第一个和第四个测试的结果弄反:Googlebot 被禁止访问 /search/help/billing,而 OAI-SearchBot 被允许抓取 PDF。
另外两个差异适用于所有版本。RobotFileParser.read() 把 robots.txt 的 401 或 403 响应视为全部禁止,而 RFC 9309 规定 4xx 意味着所有内容都可以抓取。此外,read() 使用 Python 的默认用户代理下载文件,一些防火墙会拦截它,所以测试可能因为与你的规则无关的原因报告屏蔽。像上面那样自己获取文件再传给 parse(),就能避免这两个问题。
为什么 robots.txt 测试通过了,爬虫却仍被屏蔽?
测试工具只回答一个问题:规则是否允许这个 URL?有几件事不在这个答案的范围内:
- 线上文件与你测试的文件不同,或者爬虫仍在使用缓存副本。RFC 9309 规定爬虫使用缓存副本不应超过 24 小时,Google 一般最多缓存 24 小时。
- robots.txt 网址返回的是 HTML 页面或错误。状态为 200 的 HTML 页面不包含有效规则,而 5xx 响应会屏蔽整个网站。
- robots.txt 是一种请求,而不是访问控制。防火墙、CDN 或机器人防护仍可能对爬虫返回 403 或验证页。
如何一次性为所有 AI 爬虫检查 robots.txt?
免费的 AISeeWhy robots.txt 检测器接受页面地址或粘贴的 robots.txt,并针对每个 AI 和搜索爬虫显示该页面是否可以抓取。免费的 robots.txt 生成器根据你的选择生成文件,免费检测则以 16 个爬虫的身份抓取页面,显示防火墙是否拦截了 robots.txt 允许的内容。
此问题的修复方法
下一步
本文涉及的爬虫
常见问题
Google Search Console 中还有 robots.txt 测试工具吗?
没有。Google 在 2023 年 11 月用 robots.txt 报告取代了它,该报告显示 Google 抓取到的文件、其状态和所有错误。要检查 Googlebot 能否抓取某个具体 URL,请使用网址检查工具。
robots.txt 中 Allow 会覆盖 Disallow 吗?
只有当 Allow 规则更长或一样长时才会。无论是哪种规则,匹配路径最长的那条胜出,长度相同时 Allow 胜出。
robots.txt 区分大小写吗?
部分区分。User-agent 的值匹配时不区分大小写,所以 gptbot 和 GPTBot 指的是同一个分组。路径区分大小写,所以 Disallow: /Private/ 不会屏蔽 /private/。
robots.txt 验证器检查什么?
验证器检查文件能否访问、是否以文本形式提供、语法是否有效。测试工具更进一步,会针对具体 URL 和爬虫给出结论。通常两者都需要,因为一个有效的文件仍可能屏蔽你本想允许的页面。
如果爬虫有自己的分组,它还会遵循 User-agent: * 吗?
不会。对于该爬虫,点名分组会完全取代 * 分组。任何你想对所有爬虫生效的规则,都必须在每个点名分组中重复。
参考资料
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py