如何针对某个 URL 和特定爬虫测试 robots.txt 规则?

发布于

简短回答

要针对某个爬虫测试一个 URL,先找到点名该爬虫标识的分组(如果没有,就用 User-agent: *),收集其中所有与 URL 路径匹配的 Allow 和 Disallow 规则,然后采用最长的那条;长度相同时 Allow 优先。你可以手动判断,也可以用 Google 的开源解析器,或用一个按爬虫给出结论的检测工具。Search Console 中旧的 robots.txt 测试工具已经下线,取而代之的 robots.txt 报告只显示 Google 抓取到的内容,不会针对某个 URL 给出结论。

robots.txt 文件看起来很简单,直到你需要一个确切答案:GPTBot 可以抓取这个页面吗?OAI-SearchBot 呢?答案取决于爬虫选择哪个分组,以及该分组中哪条规则胜出,而这两步都很容易弄错。下面介绍 RFC 9309 下的匹配原理、四个实例,以及自己测试文件的三种方法。

本页内容
  1. Google Search Console 中的 robots.txt 测试工具怎么了?
  2. 爬虫如何判断一个 URL 是否被允许?
  3. 能演示一个 robots.txt 测试实例吗?
  4. 如何运行 Google 的开源 robots.txt 解析器?
  5. 可以用 Python 的 urllib.robotparser 测试 robots.txt 吗?
  6. 为什么 robots.txt 测试通过了,爬虫却仍被屏蔽?
  7. 如何一次性为所有 AI 爬虫检查 robots.txt?

Google Search Console 中的 robots.txt 测试工具怎么了?

2023 年 11 月,Google 在 Search Console 中新增了 robots.txt 报告,并宣布停用 robots.txt 测试工具。该报告位于“设置”下,只涵盖 Google 的爬虫。它显示:

该报告不能输入 URL 并返回允许或屏蔽。要针对 Googlebot 检查某个 URL,Google 建议使用网址检查工具;要在本地测试,则建议使用其开源 robots.txt 库。两者都不会告诉你任何关于 GPTBot 或 ClaudeBot 等 AI 爬虫的信息。

爬虫如何判断一个 URL 是否被允许?

RFC 9309(Robots Exclusion Protocol,robots 排除协议)定义了匹配方式。Google 为其爬虫记录的行为与之相同。

robots.txt 的响应代码与其中的规则同样重要。4xx 响应意味着爬虫可以抓取所有内容;除 429 外,Google 把所有 4xx 都视为文件不存在。5xx 响应意味着爬虫必须假定整个网站都被禁止。Google 会在最初 12 小时内停止抓取,之后在最长 30 天内使用最后一份有效副本。RFC 9309 要求爬虫至少解析 500 KiB,Google 会忽略 500 KiB 之后的所有内容。

能演示一个 robots.txt 测试实例吗?

下面是一个小型 robots.txt,包含一个默认分组和两个点名的 AI 爬虫:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

长度相同的情况较少见,但遵循同样的逻辑。Google 的文档举了 allow: /folder 和 disallow: /folder 对 URL /folder/page 的例子:两者长度相同,所以该 URL 被允许。

如何运行 Google 的开源 robots.txt 解析器?

Google 公开了其在生产环境中用于匹配 robots.txt 规则的 C++ 库,并附带一个小型命令行程序,可以针对本地文件测试一个 URL 和一个用户代理。安装 Bazel 后:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

该仓库还说明了 CMake 构建方式,会生成一个名为 robots、参数相同的可执行文件。这个工具只做解析和匹配,不会下载 robots.txt,所以请先保存线上文件。其 README 还指出,解析和匹配之外的爬虫特定行为不属于该库的范围。

可以用 Python 的 urllib.robotparser 测试 robots.txt 吗?

Python 标准库包含一个解析器,可以针对某个用户代理和 URL 回答允许还是屏蔽。下面的脚本测试上面的示例:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

在相信输出结果之前,先检查你的 Python 版本。CPython 在 2026 年加入了对 RFC 9309 匹配方式的支持,并首先随 Python 3.13.14 和 3.14.5 发布。更早的版本,包括 3.12 及之前的所有版本,采用的是文件中第一条匹配的规则,而不是最长的规则,也不理解路径中的 * 或 $。在这些版本上,脚本会把第一个和第四个测试的结果弄反:Googlebot 被禁止访问 /search/help/billing,而 OAI-SearchBot 被允许抓取 PDF。

另外两个差异适用于所有版本。RobotFileParser.read() 把 robots.txt 的 401 或 403 响应视为全部禁止,而 RFC 9309 规定 4xx 意味着所有内容都可以抓取。此外,read() 使用 Python 的默认用户代理下载文件,一些防火墙会拦截它,所以测试可能因为与你的规则无关的原因报告屏蔽。像上面那样自己获取文件再传给 parse(),就能避免这两个问题。

为什么 robots.txt 测试通过了,爬虫却仍被屏蔽?

测试工具只回答一个问题:规则是否允许这个 URL?有几件事不在这个答案的范围内:

如何一次性为所有 AI 爬虫检查 robots.txt?

免费的 AISeeWhy robots.txt 检测器接受页面地址或粘贴的 robots.txt,并针对每个 AI 和搜索爬虫显示该页面是否可以抓取。免费的 robots.txt 生成器根据你的选择生成文件,免费检测则以 16 个爬虫的身份抓取页面,显示防火墙是否拦截了 robots.txt 允许的内容。

此问题的修复方法

免费工具

下一步

本文涉及的爬虫

常见问题

Google Search Console 中还有 robots.txt 测试工具吗?

没有。Google 在 2023 年 11 月用 robots.txt 报告取代了它,该报告显示 Google 抓取到的文件、其状态和所有错误。要检查 Googlebot 能否抓取某个具体 URL,请使用网址检查工具。

robots.txt 中 Allow 会覆盖 Disallow 吗?

只有当 Allow 规则更长或一样长时才会。无论是哪种规则,匹配路径最长的那条胜出,长度相同时 Allow 胜出。

robots.txt 区分大小写吗?

部分区分。User-agent 的值匹配时不区分大小写,所以 gptbot 和 GPTBot 指的是同一个分组。路径区分大小写,所以 Disallow: /Private/ 不会屏蔽 /private/。

robots.txt 验证器检查什么?

验证器检查文件能否访问、是否以文本形式提供、语法是否有效。测试工具更进一步,会针对具体 URL 和爬虫给出结论。通常两者都需要,因为一个有效的文件仍可能屏蔽你本想允许的页面。

如果爬虫有自己的分组,它还会遵循 User-agent: * 吗?

不会。对于该爬虫,点名分组会完全取代 * 分组。任何你想对所有爬虫生效的规则,都必须在每个点名分组中重复。

参考资料

更多文章