发布页面前要做的 12 项 AEO 检查(2027)
发布前,确认 URL 无需重定向即返回 200,robots.txt 允许每个 AI 搜索爬虫,防火墙给它们返回真实页面,答案就在原始 HTML 中。然后检查有无遗留的 noindex 或 nosnippet、canonical 是否唯一、H1 下是否有答案、JSON-LD 是否有效且一致、日期是否吻合、站点地图条目和内部链接、hreflang,并请求编入索引。
大多数从未出现在 AI 回答中的页面,都栽在一些无聊的问题上:遗留的 noindex、一条防火墙规则、一个指向预发布环境的 canonical。这 12 项检查能在上线前发现这些问题。每项只需几分钟,大多数只要一个终端和页面 URL,并按爬虫遇到它们的顺序排列。
本页内容
- 每项检查需要多长时间?
- 1. URL 返回 200,没有重定向链
- 2. robots.txt 对每个 AI 搜索爬虫允许该页面
- 3. 防火墙给 AI 爬虫返回真实页面
- 4. 答案在原始 HTML 中
- 5. 没有遗留的 noindex 或 nosnippet
- 6. 唯一的 canonical URL,使用绝对地址并指向自身
- 7. 标题和 H1 说明页面回答什么,答案紧随其后
- 8. JSON-LD 能被解析,并与可见文字一致
- 9. 可见日期、标记日期和站点地图 lastmod 一致
- 10. 页面在站点地图中,并有相关页面链接
- 11. hreflang 相互对应,并设置 x-default
- 12. 请搜索引擎抓取新页面
- 我们如何挑选这些检查
每项检查需要多长时间?
单个页面的大致用时和所需工具。第 1 到 5 项在每个页面上都要做;其余各项每个模板做一次,之后抽查即可。
- 1. 状态码 200:1 分钟,curl。
- 2. 按爬虫检查 robots.txt:3 分钟,浏览器或 curl。
- 3. 防火墙响应:3 分钟,curl。
- 4. 原始 HTML 中的文字:2 分钟,curl。
- 5. 没有遗留的 noindex 或 nosnippet:2 分钟,curl。
- 6. 唯一的 canonical:2 分钟,查看源代码。
- 7. 标题、H1 和简短答案:5 分钟,阅读页面。
- 8. JSON-LD 有效且一致:5 分钟,富媒体搜索结果测试或 Schema Markup Validator。
- 9. 日期一致:3 分钟,页面、标记和站点地图。
- 10. 站点地图和内部链接:5 分钟,sitemap.xml 和你的 CMS。
- 11. hreflang:5 分钟,仅限多语言网站。
- 12. 请求编入索引:2 分钟,Search Console 和 IndexNow。
1. URL 返回 200,没有重定向链
爬虫应该在你将要分享并列入站点地图的那个确切 URL 上,以状态码 200 拿到页面本身。每多一次重定向,就多一个可能失败的环节;返回 200 却显示“未找到”信息的页面属于软 404,搜索引擎可能会将其剔除。
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ 通过标准:200 redirects=0,并返回同一个 URL。修复:链接并在站点地图中列出最终 URL,旧地址最多保留一次重定向。
2. robots.txt 对每个 AI 搜索爬虫允许该页面
像每个爬虫那样读 robots.txt。指明某个爬虫的规则组会替代该爬虫的 User-agent: * 规则组;根据 RFC 9309,匹配最长的规则优先,长度相同时 Allow 优先。
至少检查 OAI-SearchBot、Claude-SearchBot、Claude-User、PerplexityBot 和 Googlebot。由于规则按路径前缀匹配,像 /guides/ 这样的新栏目可能被旧的 Disallow: /g 规则误伤。还要确认 robots.txt 本身返回 200 或 404:根据 RFC 9309,服务器错误意味着爬虫应假定整个网站都被禁止。
通过标准:这些标识的任何规则都没有禁止该路径。我们关于如何测试 robots.txt 的指南展示了如何针对一个爬虫测试一个 URL。
3. 防火墙给 AI 爬虫返回真实页面
分别用浏览器 user agent 和爬虫 user agent 请求页面,然后比较状态码和大小。按名称匹配的机器人防护可能只对爬虫返回 403、429 或验证页面。
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done 通过标准:每一行都是 200,大小相近。大小明显偏小通常意味着验证页面。这些字符串测试的是按名称匹配的规则;真正的爬虫还来自公布的 IP 段,在你自己的机器上测试无法重现这一点,所以也要检查防火墙中针对这些 IP 段的放行规则。
4. 答案在原始 HTML 中
在服务器发送的 HTML 中搜索答案里的一句话。浏览器的元素检查器显示的是脚本运行后的页面,而大多数爬虫拿到的并不是它。
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" 通过标准:1 或以上。结果为 0 表示文字由 JavaScript 添加,而 OpenAI、Anthropic 和 Perplexity 都没有文档说明其爬虫会运行 JavaScript。请在服务器端或构建时渲染;我们关于 JavaScript 内容与 AI 爬虫的指南列出了可选方案。
5. 没有遗留的 noindex 或 nosnippet
预发布网站常常带着 noindex,模板可能把它带到正式环境。同时检查 robots meta 标签和 X-Robots-Tag HTTP 标头,任何一个都会生效。
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html 通过标准:没有输出,或只有 index, follow 之类。Google 表示,页面必须已编入索引并可显示摘要,才能出现在 AI Overviews 和 AI Mode 中,而 nosnippet 也会阻止页面被直接用作它们的输入。
6. 唯一的 canonical URL,使用绝对地址并指向自身
页面应只声明一个 rel="canonical",使用绝对 URL,并指向你发布的 URL。Google 称 canonical 是一个强信号而不是指令,并提醒不要使用相对 URL,也不要出现相互冲突的信号,例如站点地图中列出的是另一个地址。
常见的上线错误有:从模板页面复制来的 canonical、仍指向预发布主机的 canonical,以及主题和插件同时输出的两个 canonical 标签。
通过标准:只有一个标签,指向线上 URL,协议和主机与站点地图中相同。
7. 标题和 H1 说明页面回答什么,答案紧随其后
像陌生人一样读页面顶部。标题和 H1 应该用买家的说法点明问题或主题,H1 下的前两三句话应完整地回答它。
标题控制在 60 个字符左右,以免在搜索结果中被截断。简短答案要写得单独引用时也讲得通,数字、单位和产品名称都要写全。
通过标准:只读第一段的人也能得到答案。我们关于在 AI 回答中被引用的方法清单更深入地讲解了如何写出便于引用的内容。
8. JSON-LD 能被解析,并与可见文字一致
出错的 JSON-LD 会被整体忽略,所以少一个逗号就会全部失效。把 URL 粘贴到 Google 的富媒体搜索结果测试或 Schema Markup Validator 中,修复每一个错误。
然后把各项值与页面对比。标记中的标题、日期、价格、币种和组织名称应与读者看到的一致。Google 表示,它的 AI 功能不需要特殊标记,而结构化数据应与可见文字一致。
通过标准:没有错误,每个值都在页面上可见。可跳过:该页面类型没有合适的标记;没有标记的页面胜过标记错误的页面。
9. 可见日期、标记日期和站点地图 lastmod 一致
在页面上显示带标注的日期,在 datePublished 和 dateModified 中使用相同的日期,并把站点地图的 lastmod 设为最后一次重要更改的日期。Google 要求可见日期与标记中的日期一致,并表示只有在 lastmod 始终准确且可验证时才会使用它。
每次构建都给所有 URL 打上当天日期的站点地图生成器,会让所有页面的 lastmod 失去意义,而不只是新页面。
通过标准:三个地方,一个日期。
10. 页面在站点地图中,并有相关页面链接
爬虫通过链接和站点地图发现页面。把新 URL 以准确的 canonical URL 加入 XML 站点地图,并从至少两个相关页面和一个中心页或索引页链接过去。
一个站点地图文件最多可包含 50,000 个 URL,未压缩时最大 50 MB;更大的网站需要站点地图索引文件。Google 表示会忽略 priority 和 changefreq,所以不必在它们上面花时间。没有内部链接的页面是孤立页面,爬虫可能很晚才发现,甚至根本发现不了。
通过标准:URL 在站点地图中,并且至少有两个页面用描述性锚文本链接到它。
11. hreflang 相互对应,并设置 x-default
如果页面有多种语言版本,每个版本都应列出所有版本(包括自身),并且每个版本都必须回链。Google 会忽略没有得到另一方确认的 hreflang 注释。为没有语言匹配时显示的版本添加 x-default。
可跳过:网站只有一种语言。我们关于 hreflang x-default 的指南解释了什么时候需要它。
12. 请搜索引擎抓取新页面
页面上线并通过以上检查后,通知搜索引擎。在 Google Search Console 中,对新 URL 使用网址检查,然后选择“请求编入索引”。对于 Bing 和其他支持 IndexNow 的搜索引擎,用你的密钥把 URL 提交到 IndexNow 端点;Bing 指出这并不保证会抓取或编入索引。
AI 助手没有提交表单。它们的爬虫通过链接和搜索找到页面,这就是第 2、3 和 10 项检查重要的原因。如果你发布了 llms.txt 文件,也把页面加进去;Google 表示其搜索不使用它,所以把它当作可选项。
通过标准:网址检查显示线上页面可以编入索引。
我们如何挑选这些检查
这份清单沿着爬虫的路径展开:访问 URL、读取 robots.txt、通过防火墙、读取 HTML,然后解读内容。每项检查都基于 OpenAI、Anthropic、Perplexity 和 Google 关于其爬虫的文档、关于 robots.txt 的 RFC 9309,以及 Google 关于 canonical、日期、站点地图和 hreflang 的指南。我们没有收录对 AI 回答没有文档证明有效的检查,例如关键词密度或字数目标。
这些检查说明页面可以被读取,但无法说明它会被引用。能否被引用取决于你的答案与其他来源相比有多好。每次更改防火墙、CDN、主题或 CMS 后,都要重做第 2 到 5 项检查,因为正是这些更改会悄悄让它们失效。
AISeeWhy 一次就能完成其中大部分检查:它以 16 个 AI 和搜索爬虫的身份抓取页面,与真实浏览器并排对比,按爬虫应用 robots.txt,并读取 HTML、标记、canonical 和日期。免费检查显示分数和第一个发现;完整报告列出每个问题和现成的修复方法。
此问题的修复方法
下一步
本文涉及的爬虫
常见问题
每个页面都要做这些检查吗?
每个新页面都要做第 1 到 5 项,因为单个 URL 也可能被屏蔽或带着遗留的 noindex。第 6 到 11 项主要取决于模板,所以每种页面类型做一次,再抽查新页面即可。
为什么不能像提交给 Google 那样把页面提交给 ChatGPT 或 Claude?
OpenAI、Anthropic 和 Perplexity 都没有为网页提供 URL 提交工具。它们的爬虫通过跟踪链接和搜索来发现页面,所以你能掌控的是内部链接、站点地图,以及对 OAI-SearchBot、Claude-SearchBot 和 PerplexityBot 开放访问。
我的页面通过了全部 12 项检查,为什么还没被引用?
这些检查让页面可读,而不是让它被优先选择。助手会挑选最能回答问题的来源,所以把你的页面和它实际引用的页面比一比:它们是否更早给出答案,是否用文字写明价格或规格,是否提供了你的页面没有的数据。
发布后多久 AI 爬虫会来访问?
没有厂商公布时间表。你的服务器日志会显示 OAI-SearchBot、Claude-SearchBot 或 PerplexityBot 第一次请求该 URL 的时间;我们关于在服务器日志中查找 AI 爬虫的指南介绍了查找方法。
参考资料
- RFC 9309:Robots Exclusion Protocol
- OpenAI:OpenAI 爬虫概览
- Anthropic:Anthropic 是否从网络抓取数据?网站所有者如何屏蔽该爬虫?
- Perplexity:Perplexity 爬虫
- Google 搜索中心:AI 功能与你的网站
- Google 搜索中心:Robots meta 标签、data-nosnippet 和 X-Robots-Tag
- Google 搜索中心:如何指定规范网址
- Google 搜索中心:影响署名日期
- Google 搜索中心:构建和提交站点地图
- Sitemaps.org:站点地图 XML 格式
- Google 搜索中心:告诉 Google 你网页的本地化版本
- Search Console 帮助:网址检查工具
- Bing:IndexNow 入门
- Search Console 帮助:富媒体搜索结果测试
- Schema.org:Schema Markup Validator
- Google 搜索中心:JavaScript SEO 基础知识