robots.txt 中没有 Content-Signal

简短回答

你的 robots.txt 没有 Content-Signal 行。这一可选行用来说明内容可以如何使用:用于搜索结果、作为 AI 答案的输入,或用于 AI 训练。没有它也不会出错。如果想以机器可读的形式写明你的使用策略,请添加它。

robots.no_content_signal · 优先级: P3

含义

Content-Signal 行用于说明你的内容可以如何被使用(搜索、AI 回答、训练)。它是可选的;如果想明确表达策略,可以添加。

为什么这对 AI 搜索很重要

robots.txt 只说明爬虫能否抓取页面,不说明之后可以拿内容做什么。Content-Signal 由 Cloudflare 的 Content Signals Policy 提出,增加了三个键:search、ai-input(实时使用内容回答问题)和 ai-train。

爬虫没有义务遵守它,所以 AISeeWhy 将其评为 P3。尽管如此,当你放行一个两种用途都可能有的爬虫时,它仍是区分“可用于答案”与“不得用于训练”的清晰方式,也为阅读该文件的人记录了你的策略。

如何修复

  1. 为 search、ai-input 和 ai-train 分别决定你的策略。
  2. 在 robots.txt 的 User-agent: * 分组内、Allow 和 Disallow 规则旁添加一行 Content-Signal。
  3. 如果你的网站使用 Cloudflare,检查其托管的 robots.txt 是否已添加这些信号,以免重复声明。
  4. 保持 Allow 和 Disallow 规则不变:Content-Signal 不会取代它们。AISeeWhy 报告会显示证据和可直接粘贴的修复方案;之后点击“再次检测”确认结果。

示例

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

如何确认修复

修改后,在报告上点击“再次检测”:它会列出已修复的内容以及评分的变化。

检测我的页面 →

相关指南

所有发现及评分计算方式