頁面要求搜尋引擎不要將其編入索引
簡短回答
頁面要求搜尋引擎不要將其編入索引:noindex 或 none 出現在 robots、googlebot 或 bingbot meta 標籤中,或出現在 X-Robots-Tag HTTP 標頭中。發現會指出是哪一個。Google 和 Bing 因此會把頁面排除在結果之外。如果希望頁面被找到,請移除該規則。
代表什麼
noindex 規則(meta)讓這個頁面不會出現在 Google 和 Bing 中,因此也不會出現在以其索引為基礎的 AI 回答裡。如果希望頁面被找到,請移除它。
為什麼這對 AI 搜尋很重要
Google 和 Bing 下次檢索頁面時會遵守 noindex 規則,頁面就會從結果中消失。以這些搜尋索引為基礎的 AI 回答和 AI 搜尋功能也就找不到這個頁面。
noindex 適用於結帳步驟、站內搜尋結果或感謝頁等頁面。問題在於它是測試網站遺留下來的、由全站的「阻止搜尋引擎」選項設定的,或是由伺服器或 CDN 規則以標頭送出、在 HTML 中沒人看得到的。
如何修正
- 查看發現中的來源:HTML 中的 meta 標籤,或
X-Robots-Tag標頭。 - 如果是 meta 標籤,從中移除
noindex和none,或刪除整個標籤。在 WordPress 中,確認「設定 → 閱讀」中的「阻止搜尋引擎索引這個網站」已關閉,並檢查頁面本身的 SEO 設定。在 Shopify 中,檢查會加入 robots meta 標籤的佈景主題程式碼和應用程式。 - 如果是標頭,找出設定它的地方,例如 Nginx 的
add_header、Apache 的Header set、_headers檔案、Cloudflare Transform Rule 或框架中介軟體,並為這個頁面移除它。 - 不要同時在 robots.txt 中封鎖這個頁面:爬蟲必須擷取頁面,才會看到 noindex 已經移除。
- 在頁面報告上按「再次檢查」確認結果。
範例
# nginx: send noindex only where it belongs, not site-wide
location /search/ {
add_header X-Robots-Tag "noindex";
} 如何確認修正
修改後,在報告上按下「再次檢查」:它會列出已修正的項目以及分數的變化。