SEO 2.0:AI 搜索和 AI 助手如何逐层改变了 SEO
SEO 2.0 是面向这样一个网络的搜索优化:AI 助手会抓取页面并引用其中的简短段落。基础没有变:页面可抓取、已编入索引、值得信赖。在此之上是:开头几行就给出答案(AEO),被助手提及和引用(GEO),页面便于提取(AIO),以及页面让访问者满意(SXO)。
SEO 2.0 不是一套新规则。搜索引擎仍然在抓取页面、编入索引并为页面排名。变化在于谁最先读你的页面,以及他们转述的内容有多少:一个可能不运行你的脚本的 AI 爬虫,一个只引用两句话并链接几个来源的助手,一个决定哪些机器人可以进入的防火墙。下面介绍五个层面、每个层面的检查方法,以及一份简短的清单。
本页内容
旧式 SEO 是什么样的,为什么现在行不通了?
旧做法有四个习惯:重复关键词、从任何地方获取链接、尽可能多地发布页面、争取首页排名。Google 的垃圾内容政策如今把前三项列为违规:关键词堆砌、为排名买卖链接,以及规模化内容滥用,即主要为操纵排名而制作大量页面。
排名位置仍然重要,但它能衡量的东西变少了。Google 表示,一个 AI Overview 只占一个位置,其中的所有链接共享这个位置。在 ChatGPT、Claude、Perplexity 或 Gemini 中根本没有首页:一个回答只引用少数几个来源,你的页面要么在其中,要么不在。
- 堆砌关键词 → 用平实的语言回答问题。
- 随便买链接 → 在人们信任的网站上得到准确描述。
- 批量生产页面 → 每个主题一个有用的页面。
- 追逐首页 → 成为回答所引用的来源,并且也衡量这一点。
AI 搜索和 AI 助手出现后,什么变了?
三个机制可以解释 SEO 2.0 的大部分内容。第一,AI 系统通过自己的爬虫读取你的网站:ChatGPT 用 OAI-SearchBot 和 ChatGPT-User,Claude 用 Claude-SearchBot 和 Claude-User,Perplexity 用 PerplexityBot 和 Perplexity-User,AI Overviews 和 AI Mode 用 Googlebot。Google 会渲染 JavaScript,但 OpenAI、Anthropic 和 Perplexity 没有说明它们的代理会执行 JavaScript,因此由脚本添加的文字可能永远到不了它们那里。
第二,助手用自己的话回答,并链接几个来源。一段点明主题、单独拿出来也讲得通的文字更容易被使用。Google 表示,你不需要为了它的 AI 功能把页面切成小块;为人清楚地写作就够了。
第三,访问可能悄无声息地失败。点名 GPTBot 或 ClaudeBot 的 robots.txt 规则组可能拦下超出预期的爬虫,CDN 或机器人防护可能对爬虫返回 403 或验证页面,而你的浏览器看到的网站一切正常。Anthropic 表示其机器人不会尝试绕过 CAPTCHA。在我们对 1000 个最热门域名的研究中,提供了 robots.txt 的 518 个网站里,有 19.5% 至少对一个 AI 搜索爬虫或用户触发的爬虫屏蔽了首页。
SEO 2.0 的五个层面是什么?
每一层都依赖它下面的各层:如果爬虫拿到的是验证页面,再完美的答案区块也没用。
- SEO 基础:爬虫能访问和读取的页面,链接清晰,已编入索引,并在 Search Console 中检查过。
- AEO,即回答引擎优化:答案放在前两行,关键页面有 FAQ,本地商家有完整的商家资料(Business Profile)。
- GEO,即生成式引擎优化:被 ChatGPT、Gemini、Perplexity 和 Claude 提及、引用和原文引述,包括通过其他网站,并跟踪这些情况。
- AIO,即 AI 优化:每页一个主题,使用列表和表格,价格和规格用文字写出。
- SXO,即搜索体验优化:页面符合搜索意图,在手机上好用,展示证据,并有一个清晰的下一步。
第 1 层,SEO 基础:爬虫能否访问、读取并信任你的页面?
其他各层都以这一层为前提。在首页和给你带来最多收益的三个页面上运行这些检查。
阅读 /robots.txt 中的每个规则组,而不只是 User-agent: *,并允许你希望被其引用的 AI 搜索爬虫和用户触发的爬虫。GPTBot 和 ClaudeBot 这类训练爬虫是单独的标识,屏蔽它们并不会让你退出 AI 搜索。然后用爬虫的用户代理抓取页面,在原始 HTML 中搜索页面上的一句话;如果出现 403、429 或计数为 0,就需要仔细查看。
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)" https://example.com/page/
curl -s https://example.com/page/ | grep -c "a sentence from the page" 有些防火墙还会检查 IP 地址,而从你自己的电脑测试无法复现这一点。OpenAI、Anthropic 和 Perplexity 公布了各自爬虫的 IP 范围;请放行这些范围,而不是只信任用户代理。
用普通的 <a href> 链接和描述性锚文本链接关键页面:Google 表示,它通常只能抓取带 href 的 <a> 元素链接,并且不建议使用“点击这里”之类的文字。为你希望被发现的页面维护一个站点地图。
在 Google Search Console 中,网址检查工具会显示页面是否已编入索引。留意遗留的 noindex、nosnippet 或过小的 max-snippet:Google 表示,nosnippet 还会阻止内容被用作 AI Overviews 和 AI Mode 的直接输入。生成式 AI 效果报告显示指向你页面的链接在 Google AI 功能中出现的频率。
第 2 层,AEO:你的页面能否在两行内回答问题?
在 H1 正下方放一个两三句话的直接答案,大约 40 到 60 个词,然后再展开解释。这个答案单独被引用时也要讲得通:写出主语而不是用“它”,并包含最关键的那个数字或条件。
用人们会问的问题做标题:“每个用户多少钱?”说明了这一节回答什么,“我们的定价理念”则没有。在定价、产品和服务页面上,加一个简短的可见 FAQ,列出买家在做决定前会问的问题。自 2026 年 5 月 7 日起,FAQ 富媒体搜索结果已不再出现在 Google 中,因此 FAQPage 标记不再改变结果的外观;它有效且无害,但读者和爬虫用的是可见的文字。
如果顾客会亲自上门,请保持 Google 商家资料完整,并与网站信息一致。Google 表示,商家资料信息可以让本地商家出现在它的 AI 回答中。
第 3 层,GEO:AI 助手会提及并引用你吗?
GEO 问三个问题:你的品牌是否被提及,你的页面是否被引用,你的措辞是否被原文引述?助手可能提到你却不给链接,也可能引用你却推荐别人,所以要分别跟踪。
助手对一家企业的描述,很多来自其他网站:评价、名录、对比文章以及 Reddit 这样的论坛。OpenAI 表示,ChatGPT 在挑选商品时会参考第三方内容。确保现有的收录信息对你的描述正确。在论坛里,回答问题并说明你是谁。Google 表示,刻意获取不真实的提及并不像看起来那么有用,而虚假评价违反大多数平台的规则。
跟踪方法:按固定时间表在每个助手中提出 10 到 30 个买家问题,记录你是否被提及、在列表中的位置以及引用了哪些来源。每次运行的回答都会不同,所以要看趋势。流量方面,Google Analytics 4 自 2026 年 5 月 13 日起提供 AI Assistant 渠道,Bing Webmaster Tools 也有针对 Copilot 的 AI Performance 报告。
第 4 层,AIO:机器能轻松拆解你的页面吗?
只讲一个主题的页面,比涵盖五个主题的页面更容易与问题匹配。如果一个页面回答两个不相关的问题,就把它拆开,并让两个页面互相链接。
把对比放进 HTML <table>,把步骤写成编号列表,不要放在图片或轮播里。用文字写出价格、规格、限制和营业时间,并带上单位和币种:“每用户每月 $19 起,按年计费”可以被引用,计算器里的价格则不能。Google 把以文字形式呈现重要内容列为其 AI 功能的最佳做法之一。
添加与可见文字一致的 JSON-LD:Organization 并用 sameAs 链接到你的官方资料页,每个页面使用 Article、Product 或 SoftwareApplication,并让 dateModified 等于页面上显示的更新日期。Google 表示其 AI 功能不需要特殊的 schema,所以把标记看作清晰的标签,而不是排名开关。
第 5 层,SXO:点击进来的访问者能得到想要的东西吗?
从搜索意图开始:搜索你的主要查询,看看排在前面的是什么。如果结果都是指南,而你的页面是销售页,那么无论关键词怎么写,它都不符合这个搜索。
然后在手机上测试。Google 使用页面的移动版本来编入索引和排名。在 Search Console 中检查 viewport meta 标签和 Core Web Vitals;Google 的“良好”阈值是 LCP 不超过 2.5 秒、INP 低于 200 毫秒、CLS 低于 0.1。
来自 AI 回答的访问者往往已经读过摘要,是来确认并采取行动的。展示带日期和来源的真实评价、你能证明的成果,以及产品背后是谁;Google 的有用内容指南称信任是 E-E-A-T 中最重要的部分。每个关键页面都以一个明确的行动号召收尾。
应该先检查什么?
这份清单按层次自下而上排列。大多数项目在一个页面上只需几分钟。
- robots.txt 在每个点名它们的规则组中,都允许你想要的 AI 搜索爬虫和用户触发的爬虫。
- 你的 CDN 或防火墙给 AI 爬虫返回的页面和状态码与给浏览器的相同。
- 正文在服务器返回的 HTML 中,不依赖 JavaScript。
- 关键页面已编入索引,没有遗留的
noindex、nosnippet或过小的max-snippet,并用描述性锚文本链接。 - 每个关键页面在前两三句话内回答自己的问题,并使用问题式标题。
- 定价和产品页面有简短的可见 FAQ,并用文字和表格写明价格和规格。
- JSON-LD 与页面一致,可见日期与
dateModified一致。 - 页面在手机上好用,展示证据,并以一个行动号召结尾。
- 其他网站对你的描述正确,并且你在跟踪 10 到 30 个买家问题的 AI 回答。
如何用 AISeeWhy 检查这些?
免费检查覆盖 16 个 AI 和搜索爬虫:它用每个爬虫的用户代理抓取你的页面,同时从同一地址用真实浏览器抓取作对照,把你的 robots.txt 套用到每个爬虫上(Google-Extended 这类只存在于 robots.txt 中的标识就在那里检查),发现防火墙拦截和验证页面,并测量不靠 JavaScript 能拿到多少文字。免费预览显示每个爬虫的结果,并完整展示最严重的一项发现。
完整报告(付费套餐或一次性报告)列出每一项发现及修复方法:标题下的简短回答、问题式标题、来源链接、JSON-LD(Article 字段、发布者、sameAs、FAQ)、noindex、nosnippet 和 max-snippet、canonical、title、description、viewport 和慢响应,以及站点地图、llms.txt、hreflang,还有 dateModified 是否与站点地图一致。
付费套餐还提供:页面结果变差时给你发邮件的监控;检查失效链接、孤立页面、内容单薄页面和重复标题的全站审核;以及 AI 可见度:它通过 API 并开启网页搜索,向 ChatGPT、Claude、Perplexity 和 Gemini 提出你的提示词,记录你是否被提及、在列表中的位置以及引用了哪些网站。API 的回答可能与应用中的不同,而且不覆盖 Google AI Overviews。你还可以以只读方式连接 Search Console,把真实查询变成提示词,并上传服务器日志,查看哪些 AI 爬虫真正抓取了你的页面。
没有任何工具能告诉你内容是否原创、有用,也无法告诉你其他网站怎么评价你。这些部分仍要靠你自己。
此问题的修复方法
下一步
本文涉及的爬虫
常见问题
SEO 2.0 会取代 SEO 吗?
不会。Google 表示,页面必须已编入索引并有资格显示摘要,才能出现在 AI Overviews 和 AI Mode 中;AI 搜索爬虫也需要一个可抓取、文字在 HTML 中的页面。SEO 2.0 是在传统 SEO 之上增加层次,并没有去掉基础。
AEO 和 GEO 有什么区别?
AEO 关注你自己的页面:开头几行的直接答案、问题式标题和 FAQ,让任何回答引擎都能使用。GEO 关注生成式助手中的结果:ChatGPT、Gemini、Perplexity 或 Claude 是否提及你的品牌并引用你的页面,这还取决于其他网站怎么说你。
SEO 2.0 需要 llms.txt 吗?
不需要。Google 表示其搜索不使用 llms.txt,OpenAI、Anthropic 和 Perplexity 也没有把它列为其爬虫的要求。它是可选的,也无害。爬虫能否访问、HTML 中有没有文字、答案是否清晰,重要得多。
FAQ schema 还有用吗?
在 Google 中看不出效果:FAQ 富媒体搜索结果已于 2026 年 5 月 7 日停止显示。FAQPage 标记仍然有效且无害,但没有任何搜索引擎或 AI 引擎在文档中说明它能带来引用。保留可见的 FAQ,因为读者和爬虫用的是那些文字。
参考资料
- Google Search Central:Google 网页搜索的垃圾内容政策
- Google Search Console Help:什么是展示次数、排名和点击次数?
- Google Search Central:AI 功能与您的网站
- Google Search Central:针对 Google 搜索中的生成式 AI 功能优化您的网站
- OpenAI:OpenAI 爬虫概览
- Anthropic:Anthropic 是否从网络抓取数据,网站所有者如何屏蔽该爬虫?
- Perplexity:Perplexity 爬虫
- Google Search Central:JavaScript SEO 基础知识
- Google Search Central:Google 链接最佳做法
- Google Search Console Help:网址检查工具
- Google Search Central:robots meta 标记、data-nosnippet 和 X-Robots-Tag
- Google Search Console Help:生成式 AI 效果报告(搜索)
- Google Search Central Blog:HowTo 和 FAQ 富媒体搜索结果的变更(2023 年 8 月)
- Google Search Central:Google 搜索文档的最新更新(FAQ 弃用与移除)
- Schema.org:FAQPage
- OpenAI:使用 ChatGPT Search 购物
- Google Analytics Help:Google Analytics 新功能(2026 年 5 月 13 日,新的 AI Assistant 流量衡量)
- Microsoft Bing:Bing Webmaster Tools 推出 AI Performance 公开预览版
- Google Search Central:Organization 结构化数据
- Google Search Central:移动设备优先索引最佳做法
- Google Search Central:了解 Core Web Vitals 和 Google 搜索结果
- Google Search Central:创建有用、可靠、以用户为中心的内容
- AISeeWhy:AI 爬虫访问报告,2026-11