AI 爬虫目录
哪些机器人会为 AI 训练、AI 搜索和实时回答读取你的网站，各自按其运营方的说法有什么作用，以及如何允许、屏蔽或验证它们。
| 爬虫 | 公司 | 用途 |
|---|---|---|
| GPTBot | OpenAI | AI 训练 |
| OAI-SearchBot | OpenAI | AI 搜索 |
| ChatGPT-User | OpenAI | 用户请求的抓取 |
| ClaudeBot | Anthropic | AI 训练 |
| Claude-SearchBot | Anthropic | AI 搜索 |
| Claude-User | Anthropic | 用户请求的抓取 |
| PerplexityBot | Perplexity | AI 搜索 |
| Perplexity-User | Perplexity | 用户请求的抓取 |
| Google-Extended | AI 训练 | |
| Googlebot | 搜索引擎 | |
| Google-CloudVertexBot | 用户请求的抓取 | |
| bingbot | Microsoft | 搜索引擎 |
| Applebot | Apple | 搜索引擎 |
| Applebot-Extended | Apple | AI 训练 |
| CCBot | Common Crawl | AI 训练 |
| meta-externalagent | Meta | AI 训练 |
| meta-externalfetcher | Meta | 用户请求的抓取 |
| Amazonbot | Amazon | AI 训练 |
| DuckAssistBot | DuckDuckGo | AI 搜索 |
| MistralAI-User | Mistral AI | 用户请求的抓取 |