robots.txt 中的 Content-Signal 是什麼?有人遵守嗎?

發布於

簡短回答

Content-Signal 是 Cloudflare 發布的一行選用 robots.txt 指令,用來聲明內容被擷取後可以如何使用:search 用於搜尋結果,ai-input 用於輸入 AI 答案,ai-train 用於訓練模型,每一項設為 yes 或 no,例如 Content-Signal: search=yes, ai-input=yes, ai-train=no。它表達的是一種偏好,不會封鎖任何東西。截至 2026 年 11 月,OpenAI、Anthropic、Google 與 Perplexity 的爬蟲頁面都沒有說會讀取它,而大型 AI 公司支持的是另一個只針對訓練的識別名稱。

robots.txt 的設計是用來說明爬蟲可以去哪裡,而不是說明讀到的內容可以怎麼用。當同一次擷取可能同時用於搜尋索引、即時 AI 答案與訓練資料集,這個缺口就變得重要了。Cloudflare 在 2025 年 9 月 24 日以 CC0 授權發布 Content Signals Policy 來填補它,並在當時表示,其客戶已為超過 380 萬個網域開啟代管 robots.txt,而這項功能現在會替他們加上這一行。

本頁內容
  1. search、ai-input 與 ai-train 是什麼意思?
  2. 如何在 robots.txt 中撰寫 Content-Signal 行?
  3. 這一行上方的政策文字說了什麼?
  4. 我的 robots.txt 裡已經有 Content-Signal 了嗎?
  5. AI 爬蟲會遵守 Content-Signal 嗎?
  6. 我應該在 robots.txt 中加入 Content-Signal 嗎?
  7. 如何檢查我的 robots.txt 對每個爬蟲說了什麼?

search、ai-input 與 ai-train 是什麼意思?

這項政策定義了三種信號。以下措辭依據 contentsignals.org 與 Cloudflare 發布的政策文字:

每種信號的值為 yes 或 no。依政策的說法,yes 代表內容可以為該用途被收集,no 代表不可以,而你省略的信號既不授予也不限制該用途。Cloudflare 的預設值會設定 search 與 ai-train,不設定 ai-input,因為它表示不知道每位客戶對這項信號的偏好,也不想用猜的。

search 與 ai-input 的區分,是多數人忽略的地方。如果你希望自己的頁面被用在 AI 答案中,光有 search=yes 並不能表達這一點,要有 ai-input=yes 才行。

如何在 robots.txt 中撰寫 Content-Signal 行?

Content-Signal 放在 user agent 群組中,與 Allow 和 Disallow 並列,各信號之間以逗號分隔。contentsignals.org 也示範了一種以路徑開頭的寫法,讓網站的某個區段可以使用與其他部分不同的信號:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow 與 Disallow 的運作方式和以前完全一樣,Content-Signal 不會取代它們。RFC 9309 允許爬蟲解讀不屬於該協定的記錄,只要不干擾已定義的規則即可,所以不認得這一行的剖析器應該會略過它。

有兩個細節值得了解。第一,這一行屬於某個群組。依據 RFC 9309,有專屬群組的爬蟲會完全忽略 User-agent: * 群組,而 Content Signals 的頁面並沒有為這一行描述任何例外。如果你為 Googlebot 或 OAI-SearchBot 設了專屬群組,請在其中重複 Content-Signal 行,contentsignals.org 在依爬蟲設定的範例中也是這麼做。第二,Google Search Console 可能會對這一行回報 Syntax not understood。Cloudflare 的文件提到了這一點,並表示沒有觀察到對檢索或 SEO 的任何影響。Google 的 robots.txt 文件只把 user-agent、allow、disallow 與 sitemap 列為支援的欄位。

這一行上方的政策文字說了什麼?

Content Signals Policy 不只是一行。Cloudflare 在 contentsignals.org 上的產生器和它的代管 robots.txt,都會在信號上方放一段註解。註解開頭寫明,作為存取本網站的條件,你同意遵守這些內容信號,接著定義三種信號,以及 yes、no 與省略時的意義。

註解最後是一句全大寫的聲明:透過內容信號表達的任何限制,都是依據歐盟關於數位單一市場著作權的指令 2019/790 第 4 條所做的明確權利保留。Cloudflare 的公告補充說,這些信號在不同司法管轄區可能具有法律效力。

contentsignals.org 本身也提醒,法院與主管機關可能會認定 robots.txt 檔案並不構成可強制執行的法律義務,並建議諮詢律師。請把這段註解當作你立場的書面聲明,而不是一份合約。

我的 robots.txt 裡已經有 Content-Signal 了嗎?

如果你的網站使用 Cloudflare,可能已經有了,方式有兩種:

use=reference 這部分是新的。Cloudflare 把 use 描述為正在測試的選用第四個欄位,有三個值:immediate(可以互動,但不儲存、不重複使用任何內容)、reference(建立索引、摘錄並連回原文)與 full(摘要並重製內容)。它不屬於原本的三種信號,我們查看過的爬蟲文件也都沒有提到它。

由於 Cloudflare 是在邊緣加上這些行,你程式碼存放庫中的檔案看起來可能沒有變,爬蟲拿到的檔案卻已經不同。在加上你自己的行之前,先擷取線上的 https://yourdomain.com/robots.txt,以免回應中出現兩套不同的政策。

大型網站的採用率仍然很低。在我們 2026 年 11 月針對最熱門的 1,000 個網域所做的研究中,提供 robots.txt 的 518 個網站裡有 18 個(3.5%)使用 Content-Signal。

AI 爬蟲會遵守 Content-Signal 嗎?

就我們找得到的文件來看,不會。2026 年 11 月 17 日,我們查看了 OpenAI、Anthropic、Google 與 Perplexity 的爬蟲頁面,沒有一個提到 Content-Signal。Cloudflare 自己也把這些信號描述為偏好,而不是防止抓取的技術手段,並表示有些公司可能會直接忽略它們。

AI 公司實際在文件中說明的,是另一種以 IETF AI Preferences 工作小組成果為基礎的機制:一個政策識別名稱 __usage_ai-training,寫成一般的 User-Agent 群組。它只涵蓋訓練,而定義它的 Internet-Draft 表示,User-Agent: * 群組不算使用了這個識別名稱:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

支援程度參差不齊,有一部分還在路上。Anthropic 表示,它自 2026 年 10 月 30 日起辨識一種通用、機器可讀的訓練信號,正在逐步推出,而且點名 ClaudeBot 的規則優先於該信號。Microsoft 在文件中為 Bing 說明了 __usage_ai-training 識別名稱,新的偏好會在 2027 年 2 月 1 日起檢索頁面時生效。Google 表示計劃在 2027 年支援這項共用控制,並打算在 robots.txt 未點名該識別名稱時,把透過它表達的退出訓練視為禁止 Google-Extended。OpenAI 在同一天發布公告,表示將遵守這個共用信號,但沒有提供日期。

所以 ai-train=no 與 __usage_ai-training 表達的意思相近,但只有後者獲得 AI 公司在文件中聲明的支援。依爬蟲區分的識別名稱,例如 GPTBot 與 ClaudeBot,仍是各家廠商目前實際採用的控制方式。

我應該在 robots.txt 中加入 Content-Signal 嗎?

如果你希望把自己的使用政策寫在一個機器和人都看得懂的地方,就可以加入。它也能用一行對所有爬蟲表達 ai-input 偏好,而廠商的識別名稱只能逐一針對爬蟲表達。它只占一行,不認得它的剖析器會略過它。

不要只依賴它。想讓內容不被用於訓練,也要禁止文件中列出的訓練識別名稱,並考慮使用共用的訓練識別名稱;我們關於封鎖 AI 訓練、同時留在 AI 搜尋中的指南依廠商列出了這些識別名稱。對於忽略 robots.txt 的程式,只有防火牆規則才能真正執行封鎖。

最後,檢查這一行與檔案其他部分是否一致。在為 OAI-SearchBot 或 PerplexityBot 設定 Allow 群組的同時寫上 ai-input=no,傳達的訊息是矛盾的:你讓 AI 搜尋爬蟲進來,卻又說它們的答案不能使用它們擷取的內容。

如何檢查我的 robots.txt 對每個爬蟲說了什麼?

AISeeWhy 免費的 robots.txt 測試工具可以輸入頁面網址或貼上 robots.txt,並針對每個 AI 與搜尋爬蟲顯示該頁面是否允許擷取,讓你確認線上的檔案(包括 Cloudflare 加在前面的內容)表達的正是你的本意。免費的 robots.txt 產生器會依你的選擇產生檔案。

免費工具

下一步

本文提到的爬蟲

常見問題

Content-Signal 是 robots.txt 標準的一部分嗎?

不是。RFC 9309 定義了 User-agent、Allow 與 Disallow,並允許爬蟲解讀其他記錄。Content-Signal 來自 Cloudflare 的 Content Signals Policy,以 CC0 授權發布。另外,IETF AI Preferences 工作小組正在為 robots.txt 起草自己的 Content-Usage 規則,目前仍是 Internet-Draft,還不是標準。

ai-train=no 能阻止 GPTBot 或 ClaudeBot 嗎?

就廠商文件來看不能。OpenAI 與 Anthropic 描述的控制方式,是點名 GPTBot 與 ClaudeBot 的 robots.txt 規則,兩者的爬蟲頁面都沒有提到 Content-Signal。想退出其中任何一家的訓練,請依名稱禁止對應的識別名稱。

Content-Signal 與 __usage_ai-training 有什麼不同?

Content-Signal 是群組內的一行,涵蓋搜尋、AI 輸入與訓練。__usage_ai-training 是一個政策識別名稱,作為獨立的 User-Agent 群組使用,只涵蓋訓練。Anthropic、Microsoft、Google 與 OpenAI 都發布過關於共用訓練信號的聲明;但沒有一家在文件中說明支援 Content-Signal。

為什麼 Google Search Console 顯示 Syntax not understood?

Google 的 robots.txt 文件只支援 user-agent、allow、disallow 與 sitemap,所以其他行可能會被標記。Cloudflare 表示,沒有觀察到這些回報對檢索頻率或 SEO 造成任何影響。

use=reference 是什麼意思?

這是 Cloudflare 正在測試的第四個欄位。reference 代表可以建立索引、摘錄並連回原文。Cloudflare 會把它加到代管的 robots.txt 檔案中,而我們查看過的爬蟲文件都沒有提到它。

資料來源

更多文章