AI क्रॉलर डायरेक्टरी
कौन-से बॉट AI ट्रेनिंग, AI सर्च और लाइव जवाबों के लिए आपकी साइट पढ़ते हैं, कंपनी के अनुसार हर बॉट क्या करता है, और उसे कैसे अनुमति दें, ब्लॉक करें या सत्यापित करें।
| क्रॉलर | कंपनी | उद्देश्य |
|---|---|---|
| GPTBot | OpenAI | AI ट्रेनिंग |
| OAI-SearchBot | OpenAI | AI सर्च |
| ChatGPT-User | OpenAI | उपयोगकर्ता के अनुरोध पर फ़ेच |
| ClaudeBot | Anthropic | AI ट्रेनिंग |
| Claude-SearchBot | Anthropic | AI सर्च |
| Claude-User | Anthropic | उपयोगकर्ता के अनुरोध पर फ़ेच |
| PerplexityBot | Perplexity | AI सर्च |
| Perplexity-User | Perplexity | उपयोगकर्ता के अनुरोध पर फ़ेच |
| Google-Extended | AI ट्रेनिंग | |
| Googlebot | सर्च इंजन | |
| Google-CloudVertexBot | उपयोगकर्ता के अनुरोध पर फ़ेच | |
| bingbot | Microsoft | सर्च इंजन |
| Applebot | Apple | सर्च इंजन |
| Applebot-Extended | Apple | AI ट्रेनिंग |
| CCBot | Common Crawl | AI ट्रेनिंग |
| meta-externalagent | Meta | AI ट्रेनिंग |
| meta-externalfetcher | Meta | उपयोगकर्ता के अनुरोध पर फ़ेच |
| Amazonbot | Amazon | AI ट्रेनिंग |
| DuckAssistBot | DuckDuckGo | AI सर्च |
| MistralAI-User | Mistral AI | उपयोगकर्ता के अनुरोध पर फ़ेच |