Director de crawlere AI
Ce boți îți citesc site-ul pentru antrenarea AI, căutarea AI și răspunsuri în timp real, ce face fiecare potrivit furnizorului său și cum îl permiți, îl blochezi sau îl verifici.
| Crawler | Companie | Rol |
|---|---|---|
| GPTBot | OpenAI | Antrenare AI |
| OAI-SearchBot | OpenAI | Căutare AI |
| ChatGPT-User | OpenAI | Preluare la cererea utilizatorului |
| ClaudeBot | Anthropic | Antrenare AI |
| Claude-SearchBot | Anthropic | Căutare AI |
| Claude-User | Anthropic | Preluare la cererea utilizatorului |
| PerplexityBot | Perplexity | Căutare AI |
| Perplexity-User | Perplexity | Preluare la cererea utilizatorului |
| Google-Extended | Antrenare AI | |
| Googlebot | Motor de căutare | |
| Google-CloudVertexBot | Preluare la cererea utilizatorului | |
| bingbot | Microsoft | Motor de căutare |
| Applebot | Apple | Motor de căutare |
| Applebot-Extended | Apple | Antrenare AI |
| CCBot | Common Crawl | Antrenare AI |
| meta-externalagent | Meta | Antrenare AI |
| meta-externalfetcher | Meta | Preluare la cererea utilizatorului |
| Amazonbot | Amazon | Antrenare AI |
| DuckAssistBot | DuckDuckGo | Căutare AI |
| MistralAI-User | Mistral AI | Preluare la cererea utilizatorului |