AI kraulerlari katalogi
Qaysi botlar saytingizni AI oʻqitish, AI qidiruvi va jonli javoblar uchun oʻqiydi, ishlab chiquvchisiga koʻra har biri nima qiladi va unga qanday ruxsat berish, uni qanday bloklash yoki tasdiqlash mumkin.
| Krauler | Kompaniya | Maqsad |
|---|---|---|
| GPTBot | OpenAI | AI oʻqitish |
| OAI-SearchBot | OpenAI | AI qidiruvi |
| ChatGPT-User | OpenAI | Foydalanuvchi soʻrovi boʻyicha yuklash |
| ClaudeBot | Anthropic | AI oʻqitish |
| Claude-SearchBot | Anthropic | AI qidiruvi |
| Claude-User | Anthropic | Foydalanuvchi soʻrovi boʻyicha yuklash |
| PerplexityBot | Perplexity | AI qidiruvi |
| Perplexity-User | Perplexity | Foydalanuvchi soʻrovi boʻyicha yuklash |
| Google-Extended | AI oʻqitish | |
| Googlebot | Qidiruv tizimi | |
| Google-CloudVertexBot | Foydalanuvchi soʻrovi boʻyicha yuklash | |
| bingbot | Microsoft | Qidiruv tizimi |
| Applebot | Apple | Qidiruv tizimi |
| Applebot-Extended | Apple | AI oʻqitish |
| CCBot | Common Crawl | AI oʻqitish |
| meta-externalagent | Meta | AI oʻqitish |
| meta-externalfetcher | Meta | Foydalanuvchi soʻrovi boʻyicha yuklash |
| Amazonbot | Amazon | AI oʻqitish |
| DuckAssistBot | DuckDuckGo | AI qidiruvi |
| MistralAI-User | Mistral AI | Foydalanuvchi soʻrovi boʻyicha yuklash |