我的竞争对手出现在 ChatGPT 和 Perplexity 中,而我没有。怎样找出原因?
按顺序排查:先确认各助手的搜索爬虫能访问并读取你的页面,再把你的页面与它们为竞争对手引用的页面进行比较。检查该页面是否在开头就直接回答了问题,是否用纯文本写明价格、功能和地点,是否与其他网站对这家企业的描述一致,以及是否有助手会引用的评价和榜单作为支撑。没有哪个助手公开其排序方法,所以这是排除法诊断,而不是公式。
你问 ChatGPT 或 Perplexity 你所在品类的最佳选择,结果它点名了一个竞争对手并附上链接,而你完全没被提到。人们很容易去猜原因。更好的做法是逐一排除:先排查那些非此即彼、容易证实的原因,例如爬虫被屏蔽,再转向与内容和声誉有关的原因。在这个过程中,竞争对手被引用的页面就是最好的证据,能说明助手认为什么内容有用。
本页内容
为什么 ChatGPT 找不到我的网站?
先检查访问,因为如果爬虫被拒之门外,再多的内容工作也没用。每个助手都公布了为其搜索结果建立索引的爬虫:ChatGPT 是 OAI-SearchBot,Perplexity 是 PerplexityBot,Claude 是 Claude-SearchBot。OpenAI 表示,退出 OAI-SearchBot 的网站不会出现在 ChatGPT 的搜索回答中,但仍可能作为导航链接出现。Anthropic 表示,禁用 Claude-SearchBot 可能会降低你在用户搜索结果中的可见度。
这种屏蔽很常见。在我们对 1,000 个最热门域名的研究中,提供了 robots.txt 的 518 个域名里,有 58 个禁止了 OAI-SearchBot,67 个禁止了 Claude-SearchBot,86 个禁止了 PerplexityBot。快速查看你自己的文件:
curl -s https://example.com/robots.txt | grep -i -A4 -E "user-agent: (oai-searchbot|perplexitybot|claude-searchbot|\*)" 然后检查另外两道关卡。防火墙或 CDN 可能对爬虫返回 403 或验证页,而浏览器拿到的是真实页面;OpenAI 要求网站所有者确认其主机或 CDN 放行来自其公布的搜索爬虫 IP 地址的流量,Perplexity 也指出,位于 Web 应用防火墙之后的网站可能需要明确放行它的爬虫。此外,只有在 JavaScript 运行后才出现的文本,可能永远到不了爬虫那里。我们关于 AI 爬虫的 robots.txt、防火墙拦截和 JavaScript 内容的指南详细介绍了每种修复方法。对于 Google AI Overviews 和 AI Mode,Google 唯一的技术要求是页面已被编入索引,并且符合显示摘要的条件。
你的网站上有页面正好回答这个问题吗?
确认访问没问题后,打开竞争对手被引用的页面,看看它是什么页面。很多时候,它是围绕问题本身建立的页面:一篇对比文章、一份“最佳工具”指南、一个价格页面,或者针对某个具体使用场景的页面。如果你的网站只有首页和功能列表,可能根本没有任何页面与这个问题对应。
这一点很重要,因为助手并不会用用户的原话去搜索。OpenAI 表示,ChatGPT 通常会把问题改写成一个或多个有针对性的搜索查询;Google 表示,AI Mode 会针对各个子主题发出多个相关搜索。标题和第一段与其中某个更具体的查询相符的页面,比只是顺带提到该主题的泛泛页面更有机会被找到。
把答案放在前面。在第一段中说明产品面向谁、能做什么、价格多少,并且每句话单独引用时也能读懂。Google 针对 AI 功能给出的建议之一,就是确保重要内容以文本形式提供。
你的价格、功能和地点是否用纯文本写明?
只存在于图片、PDF、配置器中,或藏在“联系销售”背后的事实,任何系统都很难引用。比较一下竞争对手的页面写明了多少具体事实:套餐和价格、支持的国家、集成、营业时间、配送范围。如果对方写着“每月 $29 起,可配送至欧盟和英国”,而你写的是“灵活定价”,那么助手只能在一方找到可引用的内容。
OpenAI 对产品回答有具体说明。它表示,在挑选产品时,ChatGPT 会参考来自第一方和第三方提供方的结构化元数据(例如价格和产品描述)以及其他第三方内容,并根据库存、价格、质量以及是否为生产商或主要卖家等因素对商家排序。Google 要求你及时更新 Merchant Center 和商家资料信息,并确保结构化数据与页面上的可见文本一致。
其他网站对你业务的描述与你自己的一致吗?
助手会把你对自己的介绍与别人对你的评价结合起来。如果你的企业名称、类别和描述在网站、目录、应用商店和社交主页之间各不相同,就更难把它们关联到同一个实体。在你能控制的所有地方使用同一个名称和同一段简短描述。
在首页或“关于我们”页面添加 Organization 结构化数据。Google 将 sameAs 定义为另一个网站上包含你组织更多信息的页面网址,例如社交主页或评价主页,并表示某些属性用于把你的组织与名称相似的其他组织区分开来。
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@type": "Organization",
"name": "Example",
"url": "https://example.com/",
"logo": "https://example.com/logo.png",
"description": "Online booking software for small salons.",
"sameAs": [
"https://www.linkedin.com/company/example",
"https://github.com/example"
]
}
</script> 助手会引用哪些第三方页面?上面有你吗?
查看竞争对手出现的那些回答中引用的每一个来源。通常大多数并不是竞争对手自己的网站,而是评价网站、“最佳”榜单、对比文章和论坛帖子。如果这些地方都没有你,助手就几乎没有关于你的外部证据。
各助手对此说得很少。OpenAI 表示,产品回答可能会参考评价,其评价摘要基于公开网站上的评价。Perplexity 表示,它会搜索文章、网站和期刊等权威来源,并在审核后把某些整站标记为 Government、Academic 或 Trusted,审核会问到诸如网站是否更正错误、是否注明每篇内容的作者等问题。Perplexity 并未表示这些标签决定引用哪些来源,并表示付费和合作关系不会影响标签。
实际可做的是常规营销:请真实客户在你的买家会去看的地方留下评价,在你所在品类的目录中上架,并在你能真正提供帮助的社区里回答问题。回答本身并不出售付费位置:OpenAI 表示,广告主无法塑造、排序或修改 ChatGPT 的回答。
你的信息是否是最新的,并清楚标明日期?
OpenAI 提醒 ChatGPT 用户查看被引用来源的发布或更新时间,因此日期对阅读回答的人很重要。如果你的价格页面还显示去年的套餐,或者你的对比页面根本没有日期,竞争对手上个月的页面可能就显得更可靠。
Google 建议在页面上显示日期,并在结构化数据中使用与之一致的 datePublished 和 dateModified 值。它还把没有实质改动、只是修改日期让页面显得新鲜列为警示信号。先更新事实,再更新日期。
如何把我的页面与竞争对手被引用的页面对比?哪些是我无法控制的?
把同一个问题问几次,记下哪个竞争对手页面被引用得最多,并把它与你最接近的页面放在一起比较:
- 标题是否与问题对应?第一段是否回答了问题?
- 对方页面写明了哪些你的页面没有的事实?
- 对方的文本在 HTML 中吗?你的呢?
- 对方页面标了日期吗?有多新?
- 哪些外部网站提到了对方?有提到你的吗?
先修复最大的差距,然后在几周内持续复查,而不是第二天就看结果。有些事情你无法改变。OpenAI 表示,ChatGPT 根据多种因素对结果排序,且展示位置并无保证;Perplexity、Anthropic 和 Google 也没有公开它们如何对来源排序。回答还会随用户的记忆、历史记录和位置而变化。
AISeeWhy 会为你检查第一部分:它以 16 个 AI 和搜索爬虫的身份并结合浏览器抓取你的页面,按爬虫应用 robots.txt,识别验证页,并显示不运行 JavaScript 时能拿到多少文本。它的 AI 可见度功能随后会长期追踪 ChatGPT、Claude、Perplexity 和 Gemini 是否在最多四个竞争对手旁边提到你。
此问题的修复方法
下一步
本文涉及的爬虫
常见问题
为什么 ChatGPT 不显示我的网站?
先从访问查起:OpenAI 表示,退出 OAI-SearchBot 的网站不会出现在 ChatGPT 搜索回答中,而且你的主机或 CDN 必须放行其公布的搜索爬虫 IP 地址。如果访问没问题,常见原因是另一个页面更直接地回答了问题,事实更清晰,外部提及也更多。OpenAI 表示,展示位置并无保证。
我能付费让 ChatGPT 推荐我而不是竞争对手吗?
不能。OpenAI 表示,广告不会影响 ChatGPT 的回答,广告主无法塑造、排序或修改回答,广告会单独显示并加以标注。购物回答中的产品结果也不是广告。
修复后多久 ChatGPT 或 Perplexity 才会发现?
OpenAI 表示,robots.txt 的变更大约需要 24 小时才会传到其搜索系统,Perplexity 表示最多需要 24 小时。这只是恢复了访问。之后你的页面是否被引用,取决于它与其他来源相比如何,而这一点并未公开,所以内容改动的效果要以周为单位来判断。
llms.txt 文件会让 AI 助手推荐我吗?
Google 表示,要出现在 AI Overviews 或 AI Mode 中,不需要 AI 文本文件或特殊标记。在我们查看的爬虫和搜索帮助页面中,OpenAI、Perplexity 和 Anthropic 都没有提到 llms.txt,所以不要指望它是排名因素。
Perplexity 的 Trusted 标签会决定哪些网站被引用吗?
Perplexity 并没有这样说。它把 Government、Academic 和 Trusted 标签描述为对整个网站进行来源审核的结果,并表示没有标签并不是负面评价,付费也不会影响标签。
参考资料
- OpenAI: Overview of OpenAI crawlers
- OpenAI: Searching the web with ChatGPT
- OpenAI: Shopping with ChatGPT Search
- OpenAI: Ads in ChatGPT
- Perplexity: Perplexity crawlers
- Perplexity: How does Perplexity work?
- Perplexity: Understanding source labels
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Google Search Central: AI features and your website
- Google Search Central: Organization structured data
- Google Search Central: Influence your byline dates
- Google Search Central: Creating helpful, reliable, people-first content
- AISeeWhy: AI Crawler Access Report, 2026-11