一文讲清 AI 爬虫与 AEO
写给网站所有者、营销人员和开发者的实用指南：有哪些 AI 爬虫、它们被允许读取什么，以及如何让 AI 回答能够读取并引用你的页面。
ChatGPT 能看到我的网站吗？检查方法
如何检查 ChatGPT 能否读取并引用你的网站：OAI-SearchBot、GPTBot 和 ChatGPT-User、robots.txt、防火墙，以及一个简单的 curl 测试。
阅读文章 →OpenAI 爬虫OpenAI 爬虫详解：GPTBot、OAI-SearchBot 和 ChatGPT-User
OpenAI 三个爬虫各自的作用、哪个 robots.txt 标识控制什么，以及屏蔽 GPTBot、OAI-SearchBot 或 ChatGPT-User 会给你的网站带来什么变化。
阅读文章 →防火墙与 CDNCloudflare 是否在屏蔽 AI 爬虫？排查与修复方法
Cloudflare 等 WAF 为何会对 AI 爬虫返回 403 或验证页面，如何发现这种情况，以及如何安全地放行 AI 搜索爬虫。
阅读文章 →robots.txt面向 AI 爬虫的 robots.txt：该允许什么，该屏蔽什么
如何为 AI 爬虫编写 robots.txt：允许 AI 搜索、选择是否允许训练、每个爬虫的标识、RFC 9309 匹配规则和常见错误。
阅读文章 →llms.txt什么是 llms.txt，值得添加吗？
llms.txt 详解：该提案是什么、Markdown 格式、目前谁在读取、如何在十分钟内写好一个，并如实看待其采用情况。
阅读文章 →AEO 基础AEO 与 SEO：哪些相同，面向 AI 回答有什么变化
AEO 与 SEO 的对比：哪些不变，哪些因 AI 回答而变化（访问、答案优先的内容、实体、时效性），并附检查清单。
阅读文章 →Claude 爬虫Anthropic 的爬虫：ClaudeBot、Claude-SearchBot 和 Claude-User
Anthropic 的三个网络代理：ClaudeBot、Claude-SearchBot 和 Claude-User 的作用、它们的 robots.txt 标识，以及屏蔽每一个会带来什么变化。
阅读文章 →Perplexity 爬虫Perplexity 的爬虫：PerplexityBot 和 Perplexity-User
Perplexity 的两个代理：PerplexityBot 和 Perplexity-User 的作用、robots.txt 控制的是哪一个，以及如何允许它们或在防火墙处屏蔽它们。
阅读文章 →结构化数据面向 AI 回答的结构化数据：标记什么以及如何标记
哪些 schema.org 标记有助于 AI 回答读取你的页面：带 sameAs 的 Organization、Article 的日期和作者、FAQPage，以及带价格的 Product，均以 JSON-LD 表示。
阅读文章 →JavaScript 渲染AI 爬虫能读取由 JavaScript 渲染的内容吗？
为什么只靠 JavaScript 渲染的内容常常无法被 AI 爬虫看到，如何检查它们收到了什么，以及如何用 SSR 或静态 HTML 修复。
阅读文章 →