robots.txt 中沒有 Content-Signal
簡短回答
你的 robots.txt 沒有 Content-Signal 行。這一行是選用的,用來聲明你的內容可以如何使用:出現在搜尋結果中、作為 AI 回答的輸入,或用於 AI 訓練。沒有它也不會出問題。如果你想以機器可讀的形式寫下使用政策,就加上一行。
代表什麼
Content-Signal 行用來說明你的內容可以如何被使用(搜尋、AI 回答、訓練)。它是選用的;如果想明確表達政策,可以加入。
為什麼這對 AI 搜尋很重要
robots.txt 只說明爬蟲能不能擷取頁面,不說明內容之後可以怎麼使用。Content-Signal 出自 Cloudflare 的 Content Signals Policy,新增三個鍵:search、ai-input(即時使用內容回答問題)與 ai-train。
爬蟲不一定要遵守它,因此 AISeeWhy 將此項列為 P3。當你允許某個兩種用途都可能做的爬蟲時,它仍是區分「可以用於回答」與「不要用於訓練」的明確方式,也為任何閱讀該檔案的人記錄了你的政策。
如何修正
- 為
search、ai-input與ai-train各自決定你的政策。 - 在 robots.txt 的
User-agent: *群組內,緊鄰 Allow 與 Disallow 規則,加入一行Content-Signal。 - 如果你的網站使用 Cloudflare,請檢查它的託管 robots.txt 是否已加入這些訊號,以免重複宣告。
- 保留原有的 Allow 與 Disallow 規則:Content-Signal 不會取代它們。AISeeWhy 報告會顯示證據與可直接貼上的修正;完成後請按「再次檢查」確認結果。
範例
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
如何確認修正
修改後,在報告上按下「再次檢查」:它會列出已修正的項目以及分數的變化。