Verzeichnis der KI-Crawler
Welche Bots Ihre Website für KI-Training, KI-Suche und Live-Antworten lesen, was jeder davon laut seinem Betreiber tut und wie Sie ihn zulassen, blockieren oder überprüfen.
| Crawler | Unternehmen | Zweck |
|---|---|---|
| GPTBot | OpenAI | KI-Training |
| OAI-SearchBot | OpenAI | KI-Suche |
| ChatGPT-User | OpenAI | Vom Nutzer angeforderter Abruf |
| ClaudeBot | Anthropic | KI-Training |
| Claude-SearchBot | Anthropic | KI-Suche |
| Claude-User | Anthropic | Vom Nutzer angeforderter Abruf |
| PerplexityBot | Perplexity | KI-Suche |
| Perplexity-User | Perplexity | Vom Nutzer angeforderter Abruf |
| Google-Extended | KI-Training | |
| Googlebot | Suchmaschine | |
| Google-CloudVertexBot | Vom Nutzer angeforderter Abruf | |
| bingbot | Microsoft | Suchmaschine |
| Applebot | Apple | Suchmaschine |
| Applebot-Extended | Apple | KI-Training |
| CCBot | Common Crawl | KI-Training |
| meta-externalagent | Meta | KI-Training |
| meta-externalfetcher | Meta | Vom Nutzer angeforderter Abruf |
| Amazonbot | Amazon | KI-Training |
| DuckAssistBot | DuckDuckGo | KI-Suche |
| MistralAI-User | Mistral AI | Vom Nutzer angeforderter Abruf |