robots.txt 中的 Content-Signal 是什么?有人遵守吗?
Content-Signal 是 Cloudflare 发布的一行可选 robots.txt 指令,用来声明内容被抓取后可以如何使用:search 用于搜索结果,ai-input 用于输入到 AI 回答中,ai-train 用于训练模型,每项设为 yes 或 no,例如 Content-Signal: search=yes, ai-input=yes, ai-train=no。它表达的是一种意愿,不会屏蔽任何东西。截至 2026 年 11 月,OpenAI、Anthropic、Google 和 Perplexity 的爬虫页面都没有说会读取它,而大型 AI 公司支持的是另一个只针对训练的标识。
robots.txt 的设计初衷是说明爬虫可以去哪里,而不是说明读到的内容可以怎么用。当同一次抓取既可以用于搜索索引,又可以用于实时 AI 回答和训练数据集时,这个空白就变得重要了。Cloudflare 于 2025 年 9 月 24 日以 CC0 许可发布了 Content Signals Policy 来填补它,并在当时表示,其客户已为超过 380 万个域名开启了托管 robots.txt,而这项功能现在会替他们加上这一行。
本页内容
search、ai-input 和 ai-train 是什么意思?
该政策定义了三种信号。以下措辞依据 contentsignals.org 和 Cloudflare 发布的政策文本:
search:建立搜索索引并提供搜索结果,例如返回指向你页面的超链接和简短摘录。定义中说明,search 不包括 AI 生成的搜索摘要。ai-input:将内容输入一个或多个 AI 模型,例如检索增强生成(RAG)、grounding,或为生成式 AI 搜索回答实时使用内容的其他方式。ai-train:训练或微调 AI 模型。
每种信号取值为 yes 或 no。按照政策的说法,yes 表示内容可以为该用途被收集,no 表示不可以,而你省略的信号既不授予也不限制该用途。Cloudflare 的默认设置会设定 search 和 ai-train,而不设定 ai-input,因为它表示不知道每位客户对这项信号的意愿,也不想去猜。
search 与 ai-input 之间的区分,是大多数人忽略的地方。如果你希望自己的页面被用于 AI 回答,仅有 search=yes 并不能表达这一点,ai-input=yes 才能。
如何在 robots.txt 中编写 Content-Signal 行?
Content-Signal 放在 user agent 规则组中,与 Allow 和 Disallow 并列,各信号之间用逗号分隔。contentsignals.org 还展示了一种以路径开头的写法,让网站的某个部分可以使用与其余部分不同的信号:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow 和 Disallow 的作用与以前完全相同,Content-Signal 并不取代它们。RFC 9309 允许爬虫解析不属于该协议的记录,只要不干扰已定义的规则,所以不认识这一行的解析器应当跳过它。
有两个细节值得了解。第一,这一行属于某个规则组。根据 RFC 9309,有专属规则组的爬虫会完全忽略 User-agent: * 规则组,而 Content Signals 的页面没有为这一行描述任何例外。如果你给 Googlebot 或 OAI-SearchBot 设置了专属规则组,请在其中重复 Content-Signal 行,contentsignals.org 在其按爬虫配置的示例中也是这样做的。第二,Google Search Console 可能会对这一行报告 Syntax not understood。Cloudflare 的文档提到了这一点,并表示没有观察到对抓取或 SEO 的任何影响。Google 的 robots.txt 文档只将 user-agent、allow、disallow 和 sitemap 列为支持的字段。
这一行上方的政策文本说了什么?
Content Signals Policy 不只是一行。Cloudflare 在 contentsignals.org 上的生成器和它的托管 robots.txt 都会在信号上方放一段注释。注释开头写明,作为访问本网站的条件,你同意遵守这些内容信号,然后定义三种信号以及 yes、no 和省略时的含义。
注释最后是一句大写的声明:通过内容信号表达的任何限制,都是依据关于数字单一市场版权的欧盟指令 2019/790 第 4 条作出的明确权利保留。Cloudflare 的公告补充说,这些信号在不同司法辖区可能具有法律效力。
contentsignals.org 本身也提醒,法院和监管机构可能会认定 robots.txt 文件并不产生可强制执行的法律义务,并建议咨询律师。请把这段注释看作对你立场的书面声明,而不是一份合同。
我的 robots.txt 里已经有 Content-Signal 了吗?
如果你的网站使用 Cloudflare,可能已经有了,方式有两种:
- 托管 robots.txt。当 Bot Preference Sync 处于开启状态,且至少一项 AI Crawler and Agent access 策略设为 Block、Block on pages with ads,或(针对 Training)Disallow 时,Cloudflare 会在你的服务器返回的 robots.txt 前面加上一段托管内容。其中包括政策文本、
User-Agent: *下的Content-signal: search=yes, ai-train=no, use=reference,以及针对Amazonbot、Applebot-Extended、Bytespider、CCBot、ClaudeBot、Google-Extended、GPTBot和meta-externalagent的Disallow: /。 - 完全没有 robots.txt。Cloudflare 表示,使用 Free 套餐、自己没有 robots.txt 且未使用托管功能的域名,在爬虫请求
/robots.txt时会显示 Content Signals Policy。这个版本包含定义,但不表达任何意愿。
use=reference 这部分是新加的。Cloudflare 把 use 描述为正在测试的可选第四个字段,有三个取值:immediate(可以交互,但不存储、不重复使用任何内容)、reference(索引、摘录并链接回原文)和 full(总结并复制内容)。它不属于最初的三种信号,我们查看过的爬虫文档也都没有提到它。
由于 Cloudflare 在边缘添加这些行,你代码仓库中的文件看起来可能没有变化,而爬虫拿到的文件却已经不同。在添加你自己的行之前,先获取线上的 https://yourdomain.com/robots.txt,以免响应中出现两套不同的政策。
大型网站的采用率仍然很低。在我们 2026 年 11 月对访问量最高的 1,000 个域名的研究中,提供 robots.txt 的 518 个网站里有 18 个(3.5%)使用了 Content-Signal。
AI 爬虫会遵守 Content-Signal 吗?
就我们能找到的文档来看,不会。2026 年 11 月 17 日,我们查看了 OpenAI、Anthropic、Google 和 Perplexity 的爬虫页面,没有一个提到 Content-Signal。Cloudflare 自己也把这些信号描述为意愿,而不是防止抓取的技术手段,并表示有些公司可能会直接忽略它们。
AI 公司实际在文档中说明的,是另一种基于 IETF AI Preferences 工作组成果的机制:一个政策标识 __usage_ai-training,写成普通的 User-Agent 规则组。它只涵盖训练,而定义它的 Internet-Draft 表示,User-Agent: * 规则组不算使用了这个标识:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ 支持情况参差不齐,部分还在路上。Anthropic 表示,它自 2026 年 10 月 30 日起识别一种通用的、机器可读的训练信号,正在逐步推出,并且指明 ClaudeBot 的规则优先于该信号。Microsoft 在文档中为 Bing 说明了 __usage_ai-training 标识,新的偏好设置会在 2027 年 2 月 1 日起抓取页面时生效。Google 表示计划在 2027 年支持这一共享控制,并打算在 robots.txt 未指明该标识时,把通过它表达的训练退出视为对 Google-Extended 的禁止。OpenAI 在同一天发布公告,表示将遵守这一共享信号,但没有给出日期。
所以 ai-train=no 和 __usage_ai-training 表达的意思相近,但只有后者得到了 AI 公司在文档中声明的支持。按爬虫区分的标识,例如 GPTBot 和 ClaudeBot,仍是各厂商目前实际执行的控制方式。
我应该在 robots.txt 中添加 Content-Signal 吗?
如果你希望把自己的使用政策写在一个机器和人都能读懂的地方,就可以添加。它还能用一行对所有爬虫表达 ai-input 意愿,而厂商标识只能逐个爬虫表达。它只占一行,不认识它的解析器会跳过它。
不要只依赖它。要让内容不被用于训练,还应禁止文档中列出的训练标识,并考虑使用共享的训练标识;我们关于屏蔽 AI 训练同时保留在 AI 搜索中的指南按厂商列出了这些标识。对于忽略 robots.txt 的程序,只有防火墙规则才能真正执行屏蔽。
最后,检查这一行与文件其余部分是否一致。在为 OAI-SearchBot 或 PerplexityBot 设置 Allow 规则组的同时写 ai-input=no,传达的信息是矛盾的:你放行了 AI 搜索爬虫,却又说它们的回答不能使用它们抓取的内容。
如何检查我的 robots.txt 对每个爬虫说了什么?
AISeeWhy 免费的 robots.txt 测试工具接受页面地址或粘贴的 robots.txt,并针对每个 AI 和搜索爬虫显示该页面是否允许抓取,让你确认线上文件(包括 Cloudflare 加在前面的内容)表达的正是你的本意。免费的 robots.txt 生成器会根据你的选择生成文件。
下一步
本文涉及的爬虫
常见问题
Content-Signal 是 robots.txt 标准的一部分吗?
不是。RFC 9309 定义了 User-agent、Allow 和 Disallow,并允许爬虫解析其他记录。Content-Signal 来自 Cloudflare 的 Content Signals Policy,以 CC0 许可发布。另外,IETF AI Preferences 工作组正在为 robots.txt 起草自己的 Content-Usage 规则,目前仍是 Internet-Draft,还不是标准。
ai-train=no 能阻止 GPTBot 或 ClaudeBot 吗?
从厂商文档来看不能。OpenAI 和 Anthropic 描述的控制方式是指明 GPTBot 和 ClaudeBot 的 robots.txt 规则,两者的爬虫页面都没有提到 Content-Signal。要退出其中任何一家的训练,请按名称禁止对应的标识。
Content-Signal 和 __usage_ai-training 有什么区别?
Content-Signal 是规则组内的一行,涵盖搜索、AI 输入和训练。__usage_ai-training 是一个政策标识,作为独立的 User-Agent 规则组使用,只涵盖训练。Anthropic、Microsoft、Google 和 OpenAI 都发布过关于共享训练信号的声明;但没有一家在文档中说明支持 Content-Signal。
为什么 Google Search Console 显示 Syntax not understood?
Google 的 robots.txt 文档只支持 user-agent、allow、disallow 和 sitemap,所以其他行可能会被标记。Cloudflare 表示,没有观察到这些报告对抓取频率或 SEO 产生任何影响。
use=reference 是什么意思?
这是 Cloudflare 正在测试的第四个字段。reference 表示可以索引、摘录并链接回原文。Cloudflare 会把它加到托管的 robots.txt 文件中,而我们查看过的爬虫文档都没有提到它。
参考资料
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy:AI 爬虫访问报告,2026-11