Каталог ШІ-краулерів
Які боти читають ваш сайт для навчання ШІ, ШІ-пошуку та відповідей у реальному часі, що робить кожен із них за словами його власника і як його дозволити, заблокувати або перевірити.
| Краулер | Компанія | Призначення |
|---|---|---|
| GPTBot | OpenAI | Навчання ШІ |
| OAI-SearchBot | OpenAI | ШІ-пошук |
| ChatGPT-User | OpenAI | Запит від користувача |
| ClaudeBot | Anthropic | Навчання ШІ |
| Claude-SearchBot | Anthropic | ШІ-пошук |
| Claude-User | Anthropic | Запит від користувача |
| PerplexityBot | Perplexity | ШІ-пошук |
| Perplexity-User | Perplexity | Запит від користувача |
| Google-Extended | Навчання ШІ | |
| Googlebot | Пошукова система | |
| Google-CloudVertexBot | Запит від користувача | |
| bingbot | Microsoft | Пошукова система |
| Applebot | Apple | Пошукова система |
| Applebot-Extended | Apple | Навчання ШІ |
| CCBot | Common Crawl | Навчання ШІ |
| meta-externalagent | Meta | Навчання ШІ |
| meta-externalfetcher | Meta | Запит від користувача |
| Amazonbot | Amazon | Навчання ШІ |
| DuckAssistBot | DuckDuckGo | ШІ-пошук |
| MistralAI-User | Mistral AI | Запит від користувача |