Oversigt over AI-crawlere
Hvilke bots der læser dit website til AI-træning, AI-søgning og live-svar, hvad hver af dem gør ifølge sin udbyder, og hvordan du tillader, blokerer eller verificerer den.
| Crawler | Virksomhed | Formål |
|---|---|---|
| GPTBot | OpenAI | AI-træning |
| OAI-SearchBot | OpenAI | AI-søgning |
| ChatGPT-User | OpenAI | Hentning efter brugerens anmodning |
| ClaudeBot | Anthropic | AI-træning |
| Claude-SearchBot | Anthropic | AI-søgning |
| Claude-User | Anthropic | Hentning efter brugerens anmodning |
| PerplexityBot | Perplexity | AI-søgning |
| Perplexity-User | Perplexity | Hentning efter brugerens anmodning |
| Google-Extended | AI-træning | |
| Googlebot | Søgemaskine | |
| Google-CloudVertexBot | Hentning efter brugerens anmodning | |
| bingbot | Microsoft | Søgemaskine |
| Applebot | Apple | Søgemaskine |
| Applebot-Extended | Apple | AI-træning |
| CCBot | Common Crawl | AI-træning |
| meta-externalagent | Meta | AI-træning |
| meta-externalfetcher | Meta | Hentning efter brugerens anmodning |
| Amazonbot | Amazon | AI-træning |
| DuckAssistBot | DuckDuckGo | AI-søgning |
| MistralAI-User | Mistral AI | Hentning efter brugerens anmodning |