Overzicht van AI-crawlers
Welke bots je site lezen voor AI-training, AI-zoeken en live antwoorden, wat elk ervan volgens de aanbieder doet, en hoe je ze toestaat, blokkeert of verifieert.
| Crawler | Bedrijf | Doel |
|---|---|---|
| GPTBot | OpenAI | AI-training |
| OAI-SearchBot | OpenAI | AI-zoeken |
| ChatGPT-User | OpenAI | Ophalen op verzoek van gebruiker |
| ClaudeBot | Anthropic | AI-training |
| Claude-SearchBot | Anthropic | AI-zoeken |
| Claude-User | Anthropic | Ophalen op verzoek van gebruiker |
| PerplexityBot | Perplexity | AI-zoeken |
| Perplexity-User | Perplexity | Ophalen op verzoek van gebruiker |
| Google-Extended | AI-training | |
| Googlebot | Zoekmachine | |
| Google-CloudVertexBot | Ophalen op verzoek van gebruiker | |
| bingbot | Microsoft | Zoekmachine |
| Applebot | Apple | Zoekmachine |
| Applebot-Extended | Apple | AI-training |
| CCBot | Common Crawl | AI-training |
| meta-externalagent | Meta | AI-training |
| meta-externalfetcher | Meta | Ophalen op verzoek van gebruiker |
| Amazonbot | Amazon | AI-training |
| DuckAssistBot | DuckDuckGo | AI-zoeken |
| MistralAI-User | Mistral AI | Ophalen op verzoek van gebruiker |