Katalog över AI-crawlers
Vilka botar som läser din sajt för AI-träning, AI-sök och svar i realtid, vad var och en gör enligt sin leverantör och hur du tillåter, blockerar eller verifierar den.
| Crawler | Företag | Syfte |
|---|---|---|
| GPTBot | OpenAI | AI-träning |
| OAI-SearchBot | OpenAI | AI-sök |
| ChatGPT-User | OpenAI | Hämtning på användarens begäran |
| ClaudeBot | Anthropic | AI-träning |
| Claude-SearchBot | Anthropic | AI-sök |
| Claude-User | Anthropic | Hämtning på användarens begäran |
| PerplexityBot | Perplexity | AI-sök |
| Perplexity-User | Perplexity | Hämtning på användarens begäran |
| Google-Extended | AI-träning | |
| Googlebot | Sökmotor | |
| Google-CloudVertexBot | Hämtning på användarens begäran | |
| bingbot | Microsoft | Sökmotor |
| Applebot | Apple | Sökmotor |
| Applebot-Extended | Apple | AI-träning |
| CCBot | Common Crawl | AI-träning |
| meta-externalagent | Meta | AI-träning |
| meta-externalfetcher | Meta | Hämtning på användarens begäran |
| Amazonbot | Amazon | AI-träning |
| DuckAssistBot | DuckDuckGo | AI-sök |
| MistralAI-User | Mistral AI | Hämtning på användarens begäran |