Katalog over AI-crawlere
Hvilke boter som leser nettstedet ditt for AI-trening, AI-søk og live-svar, hva hver av dem gjør ifølge leverandøren, og hvordan du tillater, blokkerer eller verifiserer dem.
| Crawler | Selskap | Formål |
|---|---|---|
| GPTBot | OpenAI | AI-trening |
| OAI-SearchBot | OpenAI | AI-søk |
| ChatGPT-User | OpenAI | Henting på brukerens forespørsel |
| ClaudeBot | Anthropic | AI-trening |
| Claude-SearchBot | Anthropic | AI-søk |
| Claude-User | Anthropic | Henting på brukerens forespørsel |
| PerplexityBot | Perplexity | AI-søk |
| Perplexity-User | Perplexity | Henting på brukerens forespørsel |
| Google-Extended | AI-trening | |
| Googlebot | Søkemotor | |
| Google-CloudVertexBot | Henting på brukerens forespørsel | |
| bingbot | Microsoft | Søkemotor |
| Applebot | Apple | Søkemotor |
| Applebot-Extended | Apple | AI-trening |
| CCBot | Common Crawl | AI-trening |
| meta-externalagent | Meta | AI-trening |
| meta-externalfetcher | Meta | Henting på brukerens forespørsel |
| Amazonbot | Amazon | AI-trening |
| DuckAssistBot | DuckDuckGo | AI-søk |
| MistralAI-User | Mistral AI | Henting på brukerens forespørsel |