Katalog crawlerów AI
Które boty czytają Twoją stronę na potrzeby trenowania AI, wyszukiwania AI i odpowiedzi na żywo, co robi każdy z nich według jego dostawcy oraz jak go dopuścić, zablokować lub zweryfikować.
| Crawler | Firma | Cel |
|---|---|---|
| GPTBot | OpenAI | Trenowanie AI |
| OAI-SearchBot | OpenAI | Wyszukiwanie AI |
| ChatGPT-User | OpenAI | Pobieranie na żądanie użytkownika |
| ClaudeBot | Anthropic | Trenowanie AI |
| Claude-SearchBot | Anthropic | Wyszukiwanie AI |
| Claude-User | Anthropic | Pobieranie na żądanie użytkownika |
| PerplexityBot | Perplexity | Wyszukiwanie AI |
| Perplexity-User | Perplexity | Pobieranie na żądanie użytkownika |
| Google-Extended | Trenowanie AI | |
| Googlebot | Wyszukiwarka | |
| Google-CloudVertexBot | Pobieranie na żądanie użytkownika | |
| bingbot | Microsoft | Wyszukiwarka |
| Applebot | Apple | Wyszukiwarka |
| Applebot-Extended | Apple | Trenowanie AI |
| CCBot | Common Crawl | Trenowanie AI |
| meta-externalagent | Meta | Trenowanie AI |
| meta-externalfetcher | Meta | Pobieranie na żądanie użytkownika |
| Amazonbot | Amazon | Trenowanie AI |
| DuckAssistBot | DuckDuckGo | Wyszukiwanie AI |
| MistralAI-User | Mistral AI | Pobieranie na żądanie użytkownika |