发布页面前要做的 12 项 AEO 检查(2027)

发布于

简短回答

发布前,确认 URL 无需重定向即返回 200,robots.txt 允许每个 AI 搜索爬虫,防火墙给它们返回真实页面,答案就在原始 HTML 中。然后检查有无遗留的 noindex 或 nosnippet、canonical 是否唯一、H1 下是否有答案、JSON-LD 是否有效且一致、日期是否吻合、站点地图条目和内部链接、hreflang,并请求编入索引。

大多数从未出现在 AI 回答中的页面,都栽在一些无聊的问题上:遗留的 noindex、一条防火墙规则、一个指向预发布环境的 canonical。这 12 项检查能在上线前发现这些问题。每项只需几分钟,大多数只要一个终端和页面 URL,并按爬虫遇到它们的顺序排列。

本页内容
  1. 每项检查需要多长时间?
  2. 1. URL 返回 200,没有重定向链
  3. 2. robots.txt 对每个 AI 搜索爬虫允许该页面
  4. 3. 防火墙给 AI 爬虫返回真实页面
  5. 4. 答案在原始 HTML 中
  6. 5. 没有遗留的 noindex 或 nosnippet
  7. 6. 唯一的 canonical URL,使用绝对地址并指向自身
  8. 7. 标题和 H1 说明页面回答什么,答案紧随其后
  9. 8. JSON-LD 能被解析,并与可见文字一致
  10. 9. 可见日期、标记日期和站点地图 lastmod 一致
  11. 10. 页面在站点地图中,并有相关页面链接
  12. 11. hreflang 相互对应,并设置 x-default
  13. 12. 请搜索引擎抓取新页面
  14. 我们如何挑选这些检查

每项检查需要多长时间?

单个页面的大致用时和所需工具。第 1 到 5 项在每个页面上都要做;其余各项每个模板做一次,之后抽查即可。

1. URL 返回 200,没有重定向链

爬虫应该在你将要分享并列入站点地图的那个确切 URL 上,以状态码 200 拿到页面本身。每多一次重定向,就多一个可能失败的环节;返回 200 却显示“未找到”信息的页面属于软 404,搜索引擎可能会将其剔除。

# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/

通过标准:200 redirects=0,并返回同一个 URL。修复:链接并在站点地图中列出最终 URL,旧地址最多保留一次重定向。

2. robots.txt 对每个 AI 搜索爬虫允许该页面

像每个爬虫那样读 robots.txt。指明某个爬虫的规则组会替代该爬虫的 User-agent: * 规则组;根据 RFC 9309,匹配最长的规则优先,长度相同时 Allow 优先。

至少检查 OAI-SearchBot、Claude-SearchBot、Claude-User、PerplexityBot 和 Googlebot。由于规则按路径前缀匹配,像 /guides/ 这样的新栏目可能被旧的 Disallow: /g 规则误伤。还要确认 robots.txt 本身返回 200 或 404:根据 RFC 9309,服务器错误意味着爬虫应假定整个网站都被禁止。

通过标准:这些标识的任何规则都没有禁止该路径。我们关于如何测试 robots.txt 的指南展示了如何针对一个爬虫测试一个 URL。

3. 防火墙给 AI 爬虫返回真实页面

分别用浏览器 user agent 和爬虫 user agent 请求页面,然后比较状态码和大小。按名称匹配的机器人防护可能只对爬虫返回 403、429 或验证页面。

URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

通过标准:每一行都是 200,大小相近。大小明显偏小通常意味着验证页面。这些字符串测试的是按名称匹配的规则;真正的爬虫还来自公布的 IP 段,在你自己的机器上测试无法重现这一点,所以也要检查防火墙中针对这些 IP 段的放行规则。

4. 答案在原始 HTML 中

在服务器发送的 HTML 中搜索答案里的一句话。浏览器的元素检查器显示的是脚本运行后的页面,而大多数爬虫拿到的并不是它。

curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer"

通过标准:1 或以上。结果为 0 表示文字由 JavaScript 添加,而 OpenAI、Anthropic 和 Perplexity 都没有文档说明其爬虫会运行 JavaScript。请在服务器端或构建时渲染;我们关于 JavaScript 内容与 AI 爬虫的指南列出了可选方案。

5. 没有遗留的 noindex 或 nosnippet

预发布网站常常带着 noindex,模板可能把它带到正式环境。同时检查 robots meta 标签和 X-Robots-Tag HTTP 标头,任何一个都会生效。

curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html

通过标准:没有输出,或只有 index, follow 之类。Google 表示,页面必须已编入索引并可显示摘要,才能出现在 AI Overviews 和 AI Mode 中,而 nosnippet 也会阻止页面被直接用作它们的输入。

6. 唯一的 canonical URL,使用绝对地址并指向自身

页面应只声明一个 rel="canonical",使用绝对 URL,并指向你发布的 URL。Google 称 canonical 是一个强信号而不是指令,并提醒不要使用相对 URL,也不要出现相互冲突的信号,例如站点地图中列出的是另一个地址。

常见的上线错误有:从模板页面复制来的 canonical、仍指向预发布主机的 canonical,以及主题和插件同时输出的两个 canonical 标签。

通过标准:只有一个标签,指向线上 URL,协议和主机与站点地图中相同。

7. 标题和 H1 说明页面回答什么,答案紧随其后

像陌生人一样读页面顶部。标题和 H1 应该用买家的说法点明问题或主题,H1 下的前两三句话应完整地回答它。

标题控制在 60 个字符左右,以免在搜索结果中被截断。简短答案要写得单独引用时也讲得通,数字、单位和产品名称都要写全。

通过标准:只读第一段的人也能得到答案。我们关于在 AI 回答中被引用的方法清单更深入地讲解了如何写出便于引用的内容。

8. JSON-LD 能被解析,并与可见文字一致

出错的 JSON-LD 会被整体忽略,所以少一个逗号就会全部失效。把 URL 粘贴到 Google 的富媒体搜索结果测试或 Schema Markup Validator 中,修复每一个错误。

然后把各项值与页面对比。标记中的标题、日期、价格、币种和组织名称应与读者看到的一致。Google 表示,它的 AI 功能不需要特殊标记,而结构化数据应与可见文字一致。

通过标准:没有错误,每个值都在页面上可见。可跳过:该页面类型没有合适的标记;没有标记的页面胜过标记错误的页面。

9. 可见日期、标记日期和站点地图 lastmod 一致

在页面上显示带标注的日期,在 datePublished 和 dateModified 中使用相同的日期,并把站点地图的 lastmod 设为最后一次重要更改的日期。Google 要求可见日期与标记中的日期一致,并表示只有在 lastmod 始终准确且可验证时才会使用它。

每次构建都给所有 URL 打上当天日期的站点地图生成器,会让所有页面的 lastmod 失去意义,而不只是新页面。

通过标准:三个地方,一个日期。

10. 页面在站点地图中,并有相关页面链接

爬虫通过链接和站点地图发现页面。把新 URL 以准确的 canonical URL 加入 XML 站点地图,并从至少两个相关页面和一个中心页或索引页链接过去。

一个站点地图文件最多可包含 50,000 个 URL,未压缩时最大 50 MB;更大的网站需要站点地图索引文件。Google 表示会忽略 priority 和 changefreq,所以不必在它们上面花时间。没有内部链接的页面是孤立页面,爬虫可能很晚才发现,甚至根本发现不了。

通过标准:URL 在站点地图中,并且至少有两个页面用描述性锚文本链接到它。

11. hreflang 相互对应,并设置 x-default

如果页面有多种语言版本,每个版本都应列出所有版本(包括自身),并且每个版本都必须回链。Google 会忽略没有得到另一方确认的 hreflang 注释。为没有语言匹配时显示的版本添加 x-default。

可跳过:网站只有一种语言。我们关于 hreflang x-default 的指南解释了什么时候需要它。

12. 请搜索引擎抓取新页面

页面上线并通过以上检查后,通知搜索引擎。在 Google Search Console 中,对新 URL 使用网址检查,然后选择“请求编入索引”。对于 Bing 和其他支持 IndexNow 的搜索引擎,用你的密钥把 URL 提交到 IndexNow 端点;Bing 指出这并不保证会抓取或编入索引。

AI 助手没有提交表单。它们的爬虫通过链接和搜索找到页面,这就是第 2、3 和 10 项检查重要的原因。如果你发布了 llms.txt 文件,也把页面加进去;Google 表示其搜索不使用它,所以把它当作可选项。

通过标准:网址检查显示线上页面可以编入索引。

我们如何挑选这些检查

这份清单沿着爬虫的路径展开:访问 URL、读取 robots.txt、通过防火墙、读取 HTML,然后解读内容。每项检查都基于 OpenAI、Anthropic、Perplexity 和 Google 关于其爬虫的文档、关于 robots.txt 的 RFC 9309,以及 Google 关于 canonical、日期、站点地图和 hreflang 的指南。我们没有收录对 AI 回答没有文档证明有效的检查,例如关键词密度或字数目标。

这些检查说明页面可以被读取,但无法说明它会被引用。能否被引用取决于你的答案与其他来源相比有多好。每次更改防火墙、CDN、主题或 CMS 后,都要重做第 2 到 5 项检查,因为正是这些更改会悄悄让它们失效。

AISeeWhy 一次就能完成其中大部分检查:它以 16 个 AI 和搜索爬虫的身份抓取页面,与真实浏览器并排对比,按爬虫应用 robots.txt,并读取 HTML、标记、canonical 和日期。免费检查显示分数和第一个发现;完整报告列出每个问题和现成的修复方法。

此问题的修复方法

免费工具

下一步

本文涉及的爬虫

常见问题

每个页面都要做这些检查吗?

每个新页面都要做第 1 到 5 项,因为单个 URL 也可能被屏蔽或带着遗留的 noindex。第 6 到 11 项主要取决于模板,所以每种页面类型做一次,再抽查新页面即可。

为什么不能像提交给 Google 那样把页面提交给 ChatGPT 或 Claude?

OpenAI、Anthropic 和 Perplexity 都没有为网页提供 URL 提交工具。它们的爬虫通过跟踪链接和搜索来发现页面,所以你能掌控的是内部链接、站点地图,以及对 OAI-SearchBot、Claude-SearchBot 和 PerplexityBot 开放访问。

我的页面通过了全部 12 项检查,为什么还没被引用?

这些检查让页面可读,而不是让它被优先选择。助手会挑选最能回答问题的来源,所以把你的页面和它实际引用的页面比一比:它们是否更早给出答案,是否用文字写明价格或规格,是否提供了你的页面没有的数据。

发布后多久 AI 爬虫会来访问?

没有厂商公布时间表。你的服务器日志会显示 OAI-SearchBot、Claude-SearchBot 或 PerplexityBot 第一次请求该 URL 的时间;我们关于在服务器日志中查找 AI 爬虫的指南介绍了查找方法。

参考资料

更多文章