AI 爬蟲目錄
哪些機器人會為 AI 訓練、AI 搜尋與即時回答讀取你的網站，依其廠商的說法各自有什麼作用，以及如何允許、封鎖或驗證它們。
| 爬蟲 | 公司 | 用途 |
|---|---|---|
| GPTBot | OpenAI | AI 訓練 |
| OAI-SearchBot | OpenAI | AI 搜尋 |
| ChatGPT-User | OpenAI | 使用者要求的擷取 |
| ClaudeBot | Anthropic | AI 訓練 |
| Claude-SearchBot | Anthropic | AI 搜尋 |
| Claude-User | Anthropic | 使用者要求的擷取 |
| PerplexityBot | Perplexity | AI 搜尋 |
| Perplexity-User | Perplexity | 使用者要求的擷取 |
| Google-Extended | AI 訓練 | |
| Googlebot | 搜尋引擎 | |
| Google-CloudVertexBot | 使用者要求的擷取 | |
| bingbot | Microsoft | 搜尋引擎 |
| Applebot | Apple | 搜尋引擎 |
| Applebot-Extended | Apple | AI 訓練 |
| CCBot | Common Crawl | AI 訓練 |
| meta-externalagent | Meta | AI 訓練 |
| meta-externalfetcher | Meta | 使用者要求的擷取 |
| Amazonbot | Amazon | AI 訓練 |
| DuckAssistBot | DuckDuckGo | AI 搜尋 |
| MistralAI-User | Mistral AI | 使用者要求的擷取 |