Именик AI краулера
Који ботови читају ваш сајт за обуку AI модела, AI претрагу и одговоре уживо, шта сваки од њих ради према речима произвођача и како да га дозволите, блокирате или проверите.
| Краулер | Компанија | Намена |
|---|---|---|
| GPTBot | OpenAI | Обука AI модела |
| OAI-SearchBot | OpenAI | AI претрага |
| ChatGPT-User | OpenAI | Преузимање на захтев корисника |
| ClaudeBot | Anthropic | Обука AI модела |
| Claude-SearchBot | Anthropic | AI претрага |
| Claude-User | Anthropic | Преузимање на захтев корисника |
| PerplexityBot | Perplexity | AI претрага |
| Perplexity-User | Perplexity | Преузимање на захтев корисника |
| Google-Extended | Обука AI модела | |
| Googlebot | Претраживач | |
| Google-CloudVertexBot | Преузимање на захтев корисника | |
| bingbot | Microsoft | Претраживач |
| Applebot | Apple | Претраживач |
| Applebot-Extended | Apple | Обука AI модела |
| CCBot | Common Crawl | Обука AI модела |
| meta-externalagent | Meta | Обука AI модела |
| meta-externalfetcher | Meta | Преузимање на захтев корисника |
| Amazonbot | Amazon | Обука AI модела |
| DuckAssistBot | DuckDuckGo | AI претрага |
| MistralAI-User | Mistral AI | Преузимање на захтев корисника |