什么是 AEO(答案引擎优化)?为什么它很重要?
AEO(answer engine optimization,答案引擎优化)是让你的页面便于 AI 答案引擎读取、理解和引用的工作,这些引擎包括 ChatGPT 搜索、Perplexity、Claude、Gemini 以及 Google 的 AI Overviews 和 AI Mode。它之所以重要,是因为这些工具会自己写出答案,只链接少数几个来源,所以如果它们的爬虫无法访问或解析你的页面,即使你在传统搜索中有排名,也会被排除在外。实践中,它依靠四点:爬虫访问、答案优先的内容、清晰的实体和结构化数据,以及可见的时效性和证据。
现在人们会在聊天框中输入完整的问题,回复则是一段文字加上几个来源链接。AEO 就是让你的页面成为这些来源之一的工作。其中很多是常规的优质 SEO;新的部分主要是访问和清晰度:要放行更多爬虫,而答案中能展示的位置更少。
本页内容
什么是 AEO(答案引擎优化)?
AEO 是 answer engine optimization 的缩写,即答案引擎优化。答案引擎会用基于网络来源写成的文字答案来回复问题,而不是给出一个排序的链接列表。AEO 涵盖决定你的页面能否成为这些来源之一的所有因素:引擎的爬虫是否被允许进入并拿到真实页面,页面是否给出了清晰的答案,以及其中的事实是否明确且最新。
以下是目前主要的答案引擎,以及它们各自如何访问你的网站:
- ChatGPT 搜索:OpenAI 表示,
OAI-SearchBot让网站出现在 ChatGPT 的搜索功能中,ChatGPT-User在用户向 ChatGPT 提问时访问页面。 - Perplexity:
PerplexityBot在 Perplexity 的结果中展示并链接网站,Perplexity-User在用户提问时抓取页面。 - Claude:Anthropic 使用
Claude-SearchBot为 Claude 用户改进搜索结果,使用Claude-User在有人向 Claude 提问时抓取页面。 - Gemini:Google 表示,
Google-Extended标识控制其抓取的内容能否用于训练 Gemini 模型以及在 Gemini Apps 中为回答提供 grounding,且它不影响网页能否被收录到 Google 搜索中。 - Google AI Overviews 和 AI Mode:它们建立在 Google 搜索之上,所以依赖
Googlebot和搜索索引。Google 表示,页面必须已被编入索引并符合显示摘要的条件,此外没有其他技术要求。
为什么答案引擎优化很重要?
因为答案取代了列表。当引擎自己写出回复时,它只引用少量来源,而不是一整页结果。成为这些被引用的来源之一,就相当于过去排在搜索结果第一页。
而且你很容易在不知情的情况下被排除。许多网站在 robots.txt 中屏蔽 AI 爬虫,通常是为了阻止模型训练,却在同一条规则中把搜索爬虫也挡在了外面。在我们对 1,000 个最热门域名的研究中,提供了 robots.txt 的 518 个网站里有 19.5% 禁止了至少一个 AI 搜索或用户爬虫访问首页;在屏蔽了训练爬虫的 155 个网站中,有 98 个(63.2%)同时屏蔽了至少一个搜索或用户爬虫。防火墙也可能造成同样的结果,而在 robots.txt 中不留任何痕迹;每个引擎都有自己的爬虫,所以对一个引擎有效的规则并不能覆盖其他引擎。
AEO 与 SEO:AEO 和 SEO、GEO 是什么关系?
AEO 建立在 SEO 的基础上,而不是取代它;GEO(generative engine optimization,生成式引擎优化)则是对大致相同工作的另一种叫法。Google 关于搜索中生成式 AI 功能的指南表示,在它看来,针对 AI 搜索的优化仍然是 SEO,因为这些功能植根于其核心排名和质量系统。其他引擎也需要同样的基础:可抓取、可索引、有用的页面。变化的是需要放行的爬虫数量,以及对直接答案和清晰事实的重视程度。我们关于 AEO 与 SEO 的文章详细介绍了两者的区别。
实践中 AEO 包括哪四个部分?
大多数 AEO 工作可分为四个部分。它们按检查顺序列出,因为如果前一部分出了问题,后面的部分就帮不上忙。
- AI 爬虫的访问。robots.txt 允许你希望被其引用的每个引擎的搜索和用户爬虫,你的防火墙或 CDN 给它们的页面与浏览器拿到的相同:没有 403、429 或验证页。正文在服务器发送的 HTML 中,而不是之后由 JavaScript 添加的。
- 答案优先的内容。页面要回答的问题写在标题或 H1 中,答案在开头几行就给出,然后再展开解释,小标题遵循人们实际会问的问题。Google 的指南还指出,你不需要把内容切成小块,也不需要为 AI 重写:为人写清楚的页面即可。
- 实体和结构化数据。页面清楚表明发布者是谁、作者是谁、涉及哪个产品、价格或地点,以及何时更新过。
Organization、Article和Product等 JSON-LD 以机器可读的形式表述这些事实。Google 表示,它的 AI 功能不需要特殊的 schema,所以应把标记看作提高清晰度的手段,而不是一个开关。 - 时效性和证据。页面上、标记中和站点地图中的日期保持一致。论断链接到原始来源,数字注明出处。第一手经验或其他地方没有的数据,会让引擎有理由引用你,而不是引用别人的汇总。
# Search and user crawlers: allowed
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
# Optional: opt out of model training
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml 这个 robots.txt 放行了搜索和用户爬虫,并对 OpenAI 和 Anthropic 选择退出训练。屏蔽训练是合理的选择;请把它放在单独的分组中。对 Google-Extended 要三思:它还涵盖 Gemini Apps 中的 grounding,所以屏蔽它退出的不只是训练。
AEO 检查清单应该包含什么?
- 列出买家会问的 10 到 20 个问题,以及应该回答每个问题的页面。
- 分别以每个 AI 爬虫和浏览器的身份请求这些页面,并比较状态码和大小。
- 按爬虫逐个阅读 robots.txt,而不只看
User-agent: *分组,因为点名的分组会取代它。 - 确认答案文本在原始 HTML 中,不依赖 JavaScript。
- 在 H1 正下方放置两三句话的直接答案。
- 添加一次
Organization标记,并在每个页面上添加Article或Product标记,与可见文本保持一致。 - 让
dateModified和站点地图中的lastmod与真实的内容改动保持同步。 - 在 XML 站点地图中列出每个页面,并从相关页面链接到它。
- 每次更改防火墙、CDN 或 CMS 后,重复进行访问检查。
如何衡量 AEO 的效果?
只能部分衡量。答案引擎没有统一的排名报告,而且答案会随措辞、地点和时间变化。你能衡量的内容分为三类。
- 访问,可以精确衡量:每个爬虫的状态码、robots.txt 判定结果以及拿到的文本量。你的服务器日志也会显示哪些 AI 爬虫来访以及它们收到了什么。
- Google 的 AI 功能。Search Console 有一个针对搜索的生成式 AI 效果报告,Google 表示该报告已于 2026 年 8 月 31 日向所有网站推出。它按页面、国家/地区、日期和设备显示指向你网站的链接在 AI Overviews 和 AI Mode 中的展示次数。它只涵盖 Google。
- 在其他引擎中的提及和引用。它们都不向网站所有者提供报告。你可以定期提出买家的问题,并记录你是否被点名或链接,可以手动进行,也可以通过各厂商的 API。请把结果当作抽样:API 的回答可能与消费者应用中显示的不同,某一周的回答也不代表排名。
分析工具中来自 AI 助手的引荐访问也有帮助,但它们只显示谁点击了,而不显示你被引用的频率。
什么时候需要 AEO 服务?应该问服务商哪些问题?
如果有人能编辑 robots.txt、防火墙规则、模板和内容,大部分 AEO 工作都可以在内部完成。当这些工作分属不同团队或供应商,或者没人有时间在每次发布后重复检查时,寻求外部帮助才有意义。
Google 发布了关于如何评估第三方 SEO 工具和建议的指南,并表示声称能改进 AEO 或 GEO 的工具值得格外审视。值得向任何服务商提出的问题:
- 你们测试哪些爬虫和引擎?我能看到原始响应吗?
- 哪些建议有引擎官方文档依据,哪些是你们的看法或经验?
- 你们是否承诺排名、引用或流量?没有人能保证这些,Google 也表示没有任何第三方工具能访问其内部排名或 AI 系统。
- 你们如何衡量效果?如何处理每次运行都会变化的回答?
- 你们会改动我网站上的什么?如果我们停止合作,这些工作成果归我吗?
AISeeWhy 直接覆盖访问部分:它以 16 个 AI 和搜索爬虫的身份并结合真实浏览器抓取页面,为每个爬虫应用 robots.txt,识别防火墙验证页,并显示不运行 JavaScript 时能拿到多少文本。在付费套餐中,它还会使用你自己的 API 密钥,通过 ChatGPT、Claude、Perplexity 和 Gemini 提出买家的问题,并显示你的品牌或域名是否被提及或引用。
下一步
本文涉及的爬虫
常见问题
AEO 是什么的缩写?
Answer engine optimization,即答案引擎优化:让你的页面能被直接回答问题的 AI 工具读取和引用,例如 ChatGPT 搜索、Perplexity 和 Google 的 AI Overviews。
AEO 需要 llms.txt 或特殊标记吗?
对 Google 来说不需要。它关于生成式 AI 功能的指南表示,Google 搜索不使用 llms.txt 或其他特殊的 AI 文件或标记,创建它们既不会提升也不会损害在 Google 搜索中的可见度。其他服务可能会读取 llms.txt,但它解决不了访问或内容问题。
屏蔽 AI 训练爬虫会影响我的 AEO 吗?
如果只屏蔽训练爬虫,就不会。OpenAI 和 Anthropic 把训练(GPTBot、ClaudeBot)与搜索和用户抓取区分开来。风险在于一条宽泛的规则把搜索爬虫也挡住了。Google-Extended 还涵盖 Gemini Apps 中的 grounding。
AEO 改动多快会生效?
访问修复可以立即验证,但引擎需要时间才能注意到:OpenAI 表示,robots.txt 的变更大约需要一天才会影响其搜索结果。没有哪个引擎说明页面何时会开始被引用。
AEO 服务值得花钱吗?
如果它们能在必须反复进行的检查上为团队节省时间,就值得。对各种保证要保持警惕:没有哪个服务商能控制答案引擎引用什么。
参考资料
- Google Search Central: Optimizing your website for generative AI features on Google Search
- Google Search Central: AI features and your website
- Google Search Console Help: Generative AI performance report (Search)
- Google Search Central: Google Search's guidance on third-party SEO tools and advice
- Google: Google's common crawlers
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: AI Crawler Access Report, 2026-11