页面要求搜索引擎不要将其编入索引
简短回答
页面要求搜索引擎不要将其编入索引:noindex 或 none 出现在 robots、googlebot 或 bingbot meta 标签中,或出现在 X-Robots-Tag HTTP 头中。该发现会显示是哪一个。Google 和 Bing 会因此不在结果中显示该页面。如果希望页面被找到,请删除这条规则。
含义
noindex 规则(meta)让这个页面不会出现在 Google 和 Bing 中,因此也不会出现在基于其索引的 AI 回答里。如果希望页面被找到,请删除它。
为什么这对 AI 搜索很重要
Google 和 Bing 下次抓取页面时会遵守 noindex 规则,页面随即从结果中消失。基于这些搜索索引的 AI 回答和 AI 搜索功能也就找不到该页面。
noindex 适用于结账步骤、站内搜索结果或感谢页之类的页面。当它是测试站点遗留下来的、由全站“阻止搜索引擎”选项设置的,或由服务器或 CDN 规则作为响应头发送而在 HTML 中看不到时,就成了问题。
如何修复
- 查看该发现中的来源:HTML 中的 meta 标签,还是
X-Robots-Tag响应头。 - 如果是 meta 标签,从中删除
noindex和none,或删除整个标签。在 WordPress 中,确认“设置 → 阅读 → 建议搜索引擎不索引本站点”已关闭,并检查页面自身的 SEO 设置。在 Shopify 中,检查添加 robots meta 标签的主题代码和应用。 - 如果是响应头,找到设置它的位置,例如 Nginx 的
add_header、Apache 的Header set、_headers文件、Cloudflare 转换规则或框架中间件,并为该页面删除它。 - 不要同时在 robots.txt 中屏蔽该页面:爬虫必须抓取页面才能看到 noindex 已被移除。
- 在页面报告中点击“再次检测”确认结果。
示例
# nginx: send noindex only where it belongs, not site-wide
location /search/ {
add_header X-Robots-Tag "noindex";
} 如何确认修复
修改后,在报告上点击“再次检测”:它会列出已修复的内容以及评分的变化。