AI クローラー一覧
AI の学習、AI 検索、リアルタイムの回答のためにサイトを読み取るボットと、各ボットの役割(提供元の説明に基づく)、許可・ブロック・確認の方法をまとめています。
| クローラー | 企業 | 用途 |
|---|---|---|
| GPTBot | OpenAI | AI 学習 |
| OAI-SearchBot | OpenAI | AI 検索 |
| ChatGPT-User | OpenAI | ユーザーのリクエストによる取得 |
| ClaudeBot | Anthropic | AI 学習 |
| Claude-SearchBot | Anthropic | AI 検索 |
| Claude-User | Anthropic | ユーザーのリクエストによる取得 |
| PerplexityBot | Perplexity | AI 検索 |
| Perplexity-User | Perplexity | ユーザーのリクエストによる取得 |
| Google-Extended | AI 学習 | |
| Googlebot | 検索エンジン | |
| Google-CloudVertexBot | ユーザーのリクエストによる取得 | |
| bingbot | Microsoft | 検索エンジン |
| Applebot | Apple | 検索エンジン |
| Applebot-Extended | Apple | AI 学習 |
| CCBot | Common Crawl | AI 学習 |
| meta-externalagent | Meta | AI 学習 |
| meta-externalfetcher | Meta | ユーザーのリクエストによる取得 |
| Amazonbot | Amazon | AI 学習 |
| DuckAssistBot | DuckDuckGo | AI 検索 |
| MistralAI-User | Mistral AI | ユーザーのリクエストによる取得 |