robots.txt 中的 Content-Signal 是什么?有人遵守吗?

发布于

简短回答

Content-Signal 是 Cloudflare 发布的一行可选 robots.txt 指令,用来声明内容被抓取后可以如何使用:search 用于搜索结果,ai-input 用于输入到 AI 回答中,ai-train 用于训练模型,每项设为 yes 或 no,例如 Content-Signal: search=yes, ai-input=yes, ai-train=no。它表达的是一种意愿,不会屏蔽任何东西。截至 2026 年 11 月,OpenAI、Anthropic、Google 和 Perplexity 的爬虫页面都没有说会读取它,而大型 AI 公司支持的是另一个只针对训练的标识。

robots.txt 的设计初衷是说明爬虫可以去哪里,而不是说明读到的内容可以怎么用。当同一次抓取既可以用于搜索索引,又可以用于实时 AI 回答和训练数据集时,这个空白就变得重要了。Cloudflare 于 2025 年 9 月 24 日以 CC0 许可发布了 Content Signals Policy 来填补它,并在当时表示,其客户已为超过 380 万个域名开启了托管 robots.txt,而这项功能现在会替他们加上这一行。

本页内容
  1. search、ai-input 和 ai-train 是什么意思?
  2. 如何在 robots.txt 中编写 Content-Signal 行?
  3. 这一行上方的政策文本说了什么?
  4. 我的 robots.txt 里已经有 Content-Signal 了吗?
  5. AI 爬虫会遵守 Content-Signal 吗?
  6. 我应该在 robots.txt 中添加 Content-Signal 吗?
  7. 如何检查我的 robots.txt 对每个爬虫说了什么?

search、ai-input 和 ai-train 是什么意思?

该政策定义了三种信号。以下措辞依据 contentsignals.org 和 Cloudflare 发布的政策文本:

每种信号取值为 yes 或 no。按照政策的说法,yes 表示内容可以为该用途被收集,no 表示不可以,而你省略的信号既不授予也不限制该用途。Cloudflare 的默认设置会设定 search 和 ai-train,而不设定 ai-input,因为它表示不知道每位客户对这项信号的意愿,也不想去猜。

search 与 ai-input 之间的区分,是大多数人忽略的地方。如果你希望自己的页面被用于 AI 回答,仅有 search=yes 并不能表达这一点,ai-input=yes 才能。

如何在 robots.txt 中编写 Content-Signal 行?

Content-Signal 放在 user agent 规则组中,与 Allow 和 Disallow 并列,各信号之间用逗号分隔。contentsignals.org 还展示了一种以路径开头的写法,让网站的某个部分可以使用与其余部分不同的信号:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow 和 Disallow 的作用与以前完全相同,Content-Signal 并不取代它们。RFC 9309 允许爬虫解析不属于该协议的记录,只要不干扰已定义的规则,所以不认识这一行的解析器应当跳过它。

有两个细节值得了解。第一,这一行属于某个规则组。根据 RFC 9309,有专属规则组的爬虫会完全忽略 User-agent: * 规则组,而 Content Signals 的页面没有为这一行描述任何例外。如果你给 Googlebot 或 OAI-SearchBot 设置了专属规则组,请在其中重复 Content-Signal 行,contentsignals.org 在其按爬虫配置的示例中也是这样做的。第二,Google Search Console 可能会对这一行报告 Syntax not understood。Cloudflare 的文档提到了这一点,并表示没有观察到对抓取或 SEO 的任何影响。Google 的 robots.txt 文档只将 user-agent、allow、disallow 和 sitemap 列为支持的字段。

这一行上方的政策文本说了什么?

Content Signals Policy 不只是一行。Cloudflare 在 contentsignals.org 上的生成器和它的托管 robots.txt 都会在信号上方放一段注释。注释开头写明,作为访问本网站的条件,你同意遵守这些内容信号,然后定义三种信号以及 yes、no 和省略时的含义。

注释最后是一句大写的声明:通过内容信号表达的任何限制,都是依据关于数字单一市场版权的欧盟指令 2019/790 第 4 条作出的明确权利保留。Cloudflare 的公告补充说,这些信号在不同司法辖区可能具有法律效力。

contentsignals.org 本身也提醒,法院和监管机构可能会认定 robots.txt 文件并不产生可强制执行的法律义务,并建议咨询律师。请把这段注释看作对你立场的书面声明,而不是一份合同。

我的 robots.txt 里已经有 Content-Signal 了吗?

如果你的网站使用 Cloudflare,可能已经有了,方式有两种:

use=reference 这部分是新加的。Cloudflare 把 use 描述为正在测试的可选第四个字段,有三个取值:immediate(可以交互,但不存储、不重复使用任何内容)、reference(索引、摘录并链接回原文)和 full(总结并复制内容)。它不属于最初的三种信号,我们查看过的爬虫文档也都没有提到它。

由于 Cloudflare 在边缘添加这些行,你代码仓库中的文件看起来可能没有变化,而爬虫拿到的文件却已经不同。在添加你自己的行之前,先获取线上的 https://yourdomain.com/robots.txt,以免响应中出现两套不同的政策。

大型网站的采用率仍然很低。在我们 2026 年 11 月对访问量最高的 1,000 个域名的研究中,提供 robots.txt 的 518 个网站里有 18 个(3.5%)使用了 Content-Signal。

AI 爬虫会遵守 Content-Signal 吗?

就我们能找到的文档来看,不会。2026 年 11 月 17 日,我们查看了 OpenAI、Anthropic、Google 和 Perplexity 的爬虫页面,没有一个提到 Content-Signal。Cloudflare 自己也把这些信号描述为意愿,而不是防止抓取的技术手段,并表示有些公司可能会直接忽略它们。

AI 公司实际在文档中说明的,是另一种基于 IETF AI Preferences 工作组成果的机制:一个政策标识 __usage_ai-training,写成普通的 User-Agent 规则组。它只涵盖训练,而定义它的 Internet-Draft 表示,User-Agent: * 规则组不算使用了这个标识:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

支持情况参差不齐,部分还在路上。Anthropic 表示,它自 2026 年 10 月 30 日起识别一种通用的、机器可读的训练信号,正在逐步推出,并且指明 ClaudeBot 的规则优先于该信号。Microsoft 在文档中为 Bing 说明了 __usage_ai-training 标识,新的偏好设置会在 2027 年 2 月 1 日起抓取页面时生效。Google 表示计划在 2027 年支持这一共享控制,并打算在 robots.txt 未指明该标识时,把通过它表达的训练退出视为对 Google-Extended 的禁止。OpenAI 在同一天发布公告,表示将遵守这一共享信号,但没有给出日期。

所以 ai-train=no 和 __usage_ai-training 表达的意思相近,但只有后者得到了 AI 公司在文档中声明的支持。按爬虫区分的标识,例如 GPTBot 和 ClaudeBot,仍是各厂商目前实际执行的控制方式。

我应该在 robots.txt 中添加 Content-Signal 吗?

如果你希望把自己的使用政策写在一个机器和人都能读懂的地方,就可以添加。它还能用一行对所有爬虫表达 ai-input 意愿,而厂商标识只能逐个爬虫表达。它只占一行,不认识它的解析器会跳过它。

不要只依赖它。要让内容不被用于训练,还应禁止文档中列出的训练标识,并考虑使用共享的训练标识;我们关于屏蔽 AI 训练同时保留在 AI 搜索中的指南按厂商列出了这些标识。对于忽略 robots.txt 的程序,只有防火墙规则才能真正执行屏蔽。

最后,检查这一行与文件其余部分是否一致。在为 OAI-SearchBot 或 PerplexityBot 设置 Allow 规则组的同时写 ai-input=no,传达的信息是矛盾的:你放行了 AI 搜索爬虫,却又说它们的回答不能使用它们抓取的内容。

如何检查我的 robots.txt 对每个爬虫说了什么?

AISeeWhy 免费的 robots.txt 测试工具接受页面地址或粘贴的 robots.txt,并针对每个 AI 和搜索爬虫显示该页面是否允许抓取,让你确认线上文件(包括 Cloudflare 加在前面的内容)表达的正是你的本意。免费的 robots.txt 生成器会根据你的选择生成文件。

免费工具

下一步

本文涉及的爬虫

常见问题

Content-Signal 是 robots.txt 标准的一部分吗?

不是。RFC 9309 定义了 User-agent、Allow 和 Disallow,并允许爬虫解析其他记录。Content-Signal 来自 Cloudflare 的 Content Signals Policy,以 CC0 许可发布。另外,IETF AI Preferences 工作组正在为 robots.txt 起草自己的 Content-Usage 规则,目前仍是 Internet-Draft,还不是标准。

ai-train=no 能阻止 GPTBot 或 ClaudeBot 吗?

从厂商文档来看不能。OpenAI 和 Anthropic 描述的控制方式是指明 GPTBot 和 ClaudeBot 的 robots.txt 规则,两者的爬虫页面都没有提到 Content-Signal。要退出其中任何一家的训练,请按名称禁止对应的标识。

Content-Signal 和 __usage_ai-training 有什么区别?

Content-Signal 是规则组内的一行,涵盖搜索、AI 输入和训练。__usage_ai-training 是一个政策标识,作为独立的 User-Agent 规则组使用,只涵盖训练。Anthropic、Microsoft、Google 和 OpenAI 都发布过关于共享训练信号的声明;但没有一家在文档中说明支持 Content-Signal。

为什么 Google Search Console 显示 Syntax not understood?

Google 的 robots.txt 文档只支持 user-agent、allow、disallow 和 sitemap,所以其他行可能会被标记。Cloudflare 表示,没有观察到这些报告对抓取频率或 SEO 产生任何影响。

use=reference 是什么意思?

这是 Cloudflare 正在测试的第四个字段。reference 表示可以索引、摘录并链接回原文。Cloudflare 会把它加到托管的 robots.txt 文件中,而我们查看过的爬虫文档都没有提到它。

参考资料

更多文章