如何检查网站是否屏蔽了 AI 爬虫

粘贴任意网址,查看它是否屏蔽了 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫:是在 robots.txt 中、在防火墙中,还是两者都有。

免费 · 无需注册 · 30 秒出结果

哪些爬虫被屏蔽

训练、搜索和用户请求类爬虫会分开显示,因为屏蔽 GPTBot 不等于屏蔽 OAI-SearchBot,屏蔽 ClaudeBot 也不等于屏蔽 Claude-SearchBot。

起决定作用的那一行

针对每个爬虫,按 RFC 9309 规则解读 robots.txt:先看点名该爬虫的规则组,没有时回退到 User-agent: *,再看最终生效的规则。

防火墙拒绝

页面会分别以 14 个爬虫和普通浏览器的身份请求。屏蔽和验证页面会被标出,并指出作出响应的防火墙。

每个发现都有修复方法

每个发现都附带需要做的修改。免费检查会显示你的得分和第一个发现;完整报告 $29,一次性付费。

简短回答

网站可以在两个地方屏蔽 AI 爬虫:robots.txt 请求爬虫不要访问,而服务器或防火墙会真正拒绝它们。先在 robots.txt 中查找每个爬虫的标识,找不到时就看 User-agent: *,再以该爬虫的身份抓取页面,与浏览器的结果对比。用浏览器扩展,一键就能完成 16 个 AI 爬虫的 robots.txt 检查。

分 3 步手动检查

  1. 选择爬虫

    每家 AI 公司都运行多个不同的爬虫。训练类:GPTBot、ClaudeBot。搜索类:OAI-SearchBot、Claude-SearchBot、PerplexityBot。应用户请求访问的:ChatGPT-User、Claude-User、Perplexity-User。

  2. 查看对应的 robots.txt

    打开 https://example.com/robots.txt,找到点名该爬虫的规则组。如果没有,就适用 User-agent: * 组;两者都没有,则一切都允许。

  3. 以该爬虫的身份抓取页面

    用该爬虫的 user agent 请求页面,把状态码和大小与浏览器的结果对比。出现 403、验证页面,或明显更小的 200 响应,就说明防火墙拒绝了它。

常见问题

没有 robots.txt 的网站对 AI 爬虫开放吗?

就 robots.txt 而言,是的。robots.txt 返回 404 表示没有规则,所以任何爬虫都可以抓取任何页面。不过防火墙仍可能屏蔽爬虫。

扩展会显示防火墙拦截吗?

不会。它在你的浏览器中读取 robots.txt,显示网站要求爬虫怎么做。防火墙和机器人防护的拦截需要以爬虫身份发送请求才能发现,aiseewhy.com 上的完整检查会做这件事。

可以检查不属于我的网站吗?

可以。robots.txt 是公开的,扩展只读取网站公开发布的 robots.txt 和 llms.txt 文件,也就是每个爬虫都会读的那些文件。

阅读完整指南

无论是改动后检查自己的网站,还是在依赖别人的网站之前先看一看,“这个网站屏蔽 AI 爬虫了吗?”这个问题都有确切的答案。答案取决于你指的是哪个爬虫,因为 AI 公司为训练、搜索和实时访问分别运行不同的爬虫,而网站可以对每一个区别对待。本指南介绍三种检查方法,从最快的到最完整的。

网站可以在哪里屏蔽 AI 爬虫?

共有三层,爬虫必须全部通过,才能使用一个页面。

  • robots.txt:一份公开的规则文件,守规矩的爬虫在抓取任何内容之前都会先读它。它是请求,不是锁。
  • 服务器、CDN 或防火墙:决定实际返回什么。即使 robots.txt 允许,机器人防护规则也可能对爬虫返回 403、429 或验证页面。
  • 页面本身:如果正文只在 JavaScript 运行后才出现,读取初始 HTML 的爬虫拿到的几乎是空页面,尽管并没有任何东西屏蔽它。

大多数快速检查只看第一层。只要记得另外两层,这仍是个不错的起点。

如何针对单个 AI 爬虫阅读 robots.txt?

在浏览器中打开 https://example.com/robots.txt,找到适用于该爬虫的规则组。规则组以一行或多行 User-agent 开头。爬虫使用点名其标识的规则组,例如 GPTBot;匹配不区分大小写。如果没有规则组点名它,就使用 User-agent: * 规则组。两者都没有时,一切都被允许。

在规则组内,匹配路径最长的规则优先;当 Allow 和 Disallow 一样长时,Allow 优先。因此,下面的文件禁止 GPTBot 访问整个网站,但允许其他所有爬虫进入:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

还要看文件是如何响应的。根据 RFC 9309,404 表示没有规则,因此一切都被允许。服务器错误(5xx)或完全没有响应,意味着爬虫必须把整个网站视为禁止访问。robots.txt 地址返回一个 HTML 页面是常见错误:爬虫在其中找不到有效的规则。

如何一次检查所有 AI 爬虫?

一旦你关心的爬虫不止一个,手动读文件就会变慢。每家 AI 公司都运行好几个爬虫,各有分工:

  • 训练爬虫为模型训练收集内容:GPTBot、ClaudeBot、CCBot、Bytespider、meta-externalagent,以及只出现在 robots.txt 中的 Google-Extended 和 Applebot-Extended 标识。
  • 搜索爬虫为页面建立索引,以便 AI 回答引用:OAI-SearchBot、Claude-SearchBot、PerplexityBot。
  • 用户爬虫在有人让助手打开页面时抓取页面:ChatGPT-User、Claude-User、Perplexity-User。

免费的 Chrome 扩展“AI 爬虫检查”一键就能完成这些工作。打开任意页面,点击图标,它就会读取该网站的 robots.txt,并针对 16 个爬虫逐一显示页面是否被允许、由哪一行决定。它还会显示 Content-Signal 偏好、网站是否有 llms.txt,以及 robots.txt 中列出的站点地图。它在你的浏览器中运行,不需要账户,只读取你点击时所在的网站。

不用 Chrome 的话,把网址粘贴到 aiseewhy.com 上的免费 robots.txt 检查工具,也能得到同样的答案。

如何检查防火墙是否放行它们?

robots.txt 显示的是网站提出的要求。要看爬虫实际得到什么,就把页面请求两次,一次以浏览器身份,一次使用爬虫的 user agent,然后比较状态码和响应大小:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

如果浏览器得到 200,而爬虫得到 403、429、503 或小得多的页面,说明防火墙或机器人防护对爬虫区别对待。所有外部测试都有一个局限:请求来自你的网络,而不是 AI 公司的网络。依据公布的 IP 地址信任爬虫的防火墙,可能会对真正的爬虫区别对待,所以最终要以服务器日志为准。

aiseewhy.com 上的完整检查会以全部 16 个爬虫的身份抓取页面,并与真实浏览器并排对比,指出屏蔽爬虫的防火墙或规则,并比较每个爬虫收到的文本。

应该追求什么样的结果?

这取决于你的目标。如果希望在 ChatGPT 搜索、Claude 和 Perplexity 中被引用,搜索爬虫和用户爬虫必须在 robots.txt 中被允许,并且能从服务器拿到真实页面。如果不希望内容被用于训练,只屏蔽训练标识即可。这是两个独立的选择:屏蔽 GPTBot 不会屏蔽 OAI-SearchBot,屏蔽 ClaudeBot 也不会屏蔽 Claude-SearchBot。

很多网站把两者混为一谈。在我们 2026 年 11 月针对 1,000 个最热门域名的报告中,屏蔽了训练爬虫的网站里有 63% 也屏蔽了至少一个 AI 搜索爬虫或用户爬虫,使自己的页面无法出现在这些 AI 回答中。

免费工具

下一步

本文涉及的爬虫

参考资料

更多文章

发布于