AI-crawlerek jegyzéke
Mely botok olvassák a webhelyet AI-tanításhoz, AI-keresőkhöz és élő válaszokhoz, mit csinál az egyes bot a gyártója szerint, és hogyan engedélyezheti, tilthatja le vagy ellenőrizheti őket.
| Crawler | Cég | Cél |
|---|---|---|
| GPTBot | OpenAI | AI-tanítás |
| OAI-SearchBot | OpenAI | AI-keresés |
| ChatGPT-User | OpenAI | Felhasználó kérésére történő lekérés |
| ClaudeBot | Anthropic | AI-tanítás |
| Claude-SearchBot | Anthropic | AI-keresés |
| Claude-User | Anthropic | Felhasználó kérésére történő lekérés |
| PerplexityBot | Perplexity | AI-keresés |
| Perplexity-User | Perplexity | Felhasználó kérésére történő lekérés |
| Google-Extended | AI-tanítás | |
| Googlebot | Keresőmotor | |
| Google-CloudVertexBot | Felhasználó kérésére történő lekérés | |
| bingbot | Microsoft | Keresőmotor |
| Applebot | Apple | Keresőmotor |
| Applebot-Extended | Apple | AI-tanítás |
| CCBot | Common Crawl | AI-tanítás |
| meta-externalagent | Meta | AI-tanítás |
| meta-externalfetcher | Meta | Felhasználó kérésére történő lekérés |
| Amazonbot | Amazon | AI-tanítás |
| DuckAssistBot | DuckDuckGo | AI-keresés |
| MistralAI-User | Mistral AI | Felhasználó kérésére történő lekérés |