Imenik AI crawlera
Koji botovi čitaju vašu web-stranicu za treniranje AI-ja, AI pretraživanje i odgovore uživo, što svaki od njih radi prema navodima dobavljača te kako ga dopustiti, blokirati ili provjeriti.
| Crawler | Tvrtka | Namjena |
|---|---|---|
| GPTBot | OpenAI | Treniranje AI-ja |
| OAI-SearchBot | OpenAI | AI pretraživanje |
| ChatGPT-User | OpenAI | Dohvaćanje na zahtjev korisnika |
| ClaudeBot | Anthropic | Treniranje AI-ja |
| Claude-SearchBot | Anthropic | AI pretraživanje |
| Claude-User | Anthropic | Dohvaćanje na zahtjev korisnika |
| PerplexityBot | Perplexity | AI pretraživanje |
| Perplexity-User | Perplexity | Dohvaćanje na zahtjev korisnika |
| Google-Extended | Treniranje AI-ja | |
| Googlebot | Tražilica | |
| Google-CloudVertexBot | Dohvaćanje na zahtjev korisnika | |
| bingbot | Microsoft | Tražilica |
| Applebot | Apple | Tražilica |
| Applebot-Extended | Apple | Treniranje AI-ja |
| CCBot | Common Crawl | Treniranje AI-ja |
| meta-externalagent | Meta | Treniranje AI-ja |
| meta-externalfetcher | Meta | Dohvaćanje na zahtjev korisnika |
| Amazonbot | Amazon | Treniranje AI-ja |
| DuckAssistBot | DuckDuckGo | AI pretraživanje |
| MistralAI-User | Mistral AI | Dohvaćanje na zahtjev korisnika |