AI क्रॉलर डिरेक्टरी
कोणते बॉट AI ट्रेनिंग, AI सर्च आणि थेट उत्तरांसाठी तुमची साइट वाचतात, त्यांच्या विक्रेत्यानुसार प्रत्येक काय करतो, आणि त्याला परवानगी कशी द्यावी, ब्लॉक कसे करावे किंवा पडताळणी कशी करावी.
| क्रॉलर | कंपनी | उद्देश |
|---|---|---|
| GPTBot | OpenAI | AI ट्रेनिंग |
| OAI-SearchBot | OpenAI | AI सर्च |
| ChatGPT-User | OpenAI | युजरच्या विनंतीवरून फेच |
| ClaudeBot | Anthropic | AI ट्रेनिंग |
| Claude-SearchBot | Anthropic | AI सर्च |
| Claude-User | Anthropic | युजरच्या विनंतीवरून फेच |
| PerplexityBot | Perplexity | AI सर्च |
| Perplexity-User | Perplexity | युजरच्या विनंतीवरून फेच |
| Google-Extended | AI ट्रेनिंग | |
| Googlebot | सर्च इंजिन | |
| Google-CloudVertexBot | युजरच्या विनंतीवरून फेच | |
| bingbot | Microsoft | सर्च इंजिन |
| Applebot | Apple | सर्च इंजिन |
| Applebot-Extended | Apple | AI ट्रेनिंग |
| CCBot | Common Crawl | AI ट्रेनिंग |
| meta-externalagent | Meta | AI ट्रेनिंग |
| meta-externalfetcher | Meta | युजरच्या विनंतीवरून फेच |
| Amazonbot | Amazon | AI ट्रेनिंग |
| DuckAssistBot | DuckDuckGo | AI सर्च |
| MistralAI-User | Mistral AI | युजरच्या विनंतीवरून फेच |