Adresář AI crawlerů
Které boty čtou váš web kvůli trénování AI, AI vyhledávání a živým odpovědím, co každý z nich podle svého provozovatele dělá a jak ho povolit, zablokovat nebo ověřit.
| Crawler | Společnost | Účel |
|---|---|---|
| GPTBot | OpenAI | Trénování AI |
| OAI-SearchBot | OpenAI | AI vyhledávání |
| ChatGPT-User | OpenAI | Stažení na žádost uživatele |
| ClaudeBot | Anthropic | Trénování AI |
| Claude-SearchBot | Anthropic | AI vyhledávání |
| Claude-User | Anthropic | Stažení na žádost uživatele |
| PerplexityBot | Perplexity | AI vyhledávání |
| Perplexity-User | Perplexity | Stažení na žádost uživatele |
| Google-Extended | Trénování AI | |
| Googlebot | Vyhledávač | |
| Google-CloudVertexBot | Stažení na žádost uživatele | |
| bingbot | Microsoft | Vyhledávač |
| Applebot | Apple | Vyhledávač |
| Applebot-Extended | Apple | Trénování AI |
| CCBot | Common Crawl | Trénování AI |
| meta-externalagent | Meta | Trénování AI |
| meta-externalfetcher | Meta | Stažení na žádost uživatele |
| Amazonbot | Amazon | Trénování AI |
| DuckAssistBot | DuckDuckGo | AI vyhledávání |
| MistralAI-User | Mistral AI | Stažení na žádost uživatele |