Каталог AI-краулеров
Какие боты читают ваш сайт для обучения AI, AI-поиска и ответов в реальном времени, что делает каждый из них по данным его компании и как его разрешить, заблокировать или проверить.
| Краулер | Компания | Назначение |
|---|---|---|
| GPTBot | OpenAI | Обучение AI |
| OAI-SearchBot | OpenAI | AI-поиск |
| ChatGPT-User | OpenAI | Загрузка по запросу пользователя |
| ClaudeBot | Anthropic | Обучение AI |
| Claude-SearchBot | Anthropic | AI-поиск |
| Claude-User | Anthropic | Загрузка по запросу пользователя |
| PerplexityBot | Perplexity | AI-поиск |
| Perplexity-User | Perplexity | Загрузка по запросу пользователя |
| Google-Extended | Обучение AI | |
| Googlebot | Поисковая система | |
| Google-CloudVertexBot | Загрузка по запросу пользователя | |
| bingbot | Microsoft | Поисковая система |
| Applebot | Apple | Поисковая система |
| Applebot-Extended | Apple | Обучение AI |
| CCBot | Common Crawl | Обучение AI |
| meta-externalagent | Meta | Обучение AI |
| meta-externalfetcher | Meta | Загрузка по запросу пользователя |
| Amazonbot | Amazon | Обучение AI |
| DuckAssistBot | DuckDuckGo | AI-поиск |
| MistralAI-User | Mistral AI | Загрузка по запросу пользователя |