Adresár AI crawlerov
Ktoré boty čítajú váš web na trénovanie AI, AI vyhľadávanie a živé odpovede, čo podľa dodávateľa robí každý z nich a ako ho povoliť, zablokovať alebo overiť.
| Crawler | Spoločnosť | Účel |
|---|---|---|
| GPTBot | OpenAI | Trénovanie AI |
| OAI-SearchBot | OpenAI | AI vyhľadávanie |
| ChatGPT-User | OpenAI | Sťahovanie na žiadosť používateľa |
| ClaudeBot | Anthropic | Trénovanie AI |
| Claude-SearchBot | Anthropic | AI vyhľadávanie |
| Claude-User | Anthropic | Sťahovanie na žiadosť používateľa |
| PerplexityBot | Perplexity | AI vyhľadávanie |
| Perplexity-User | Perplexity | Sťahovanie na žiadosť používateľa |
| Google-Extended | Trénovanie AI | |
| Googlebot | Vyhľadávač | |
| Google-CloudVertexBot | Sťahovanie na žiadosť používateľa | |
| bingbot | Microsoft | Vyhľadávač |
| Applebot | Apple | Vyhľadávač |
| Applebot-Extended | Apple | Trénovanie AI |
| CCBot | Common Crawl | Trénovanie AI |
| meta-externalagent | Meta | Trénovanie AI |
| meta-externalfetcher | Meta | Sťahovanie na žiadosť používateľa |
| Amazonbot | Amazon | Trénovanie AI |
| DuckAssistBot | DuckDuckGo | AI vyhľadávanie |
| MistralAI-User | Mistral AI | Sťahovanie na žiadosť používateľa |