AI क्रलर डाइरेक्टरी
कुन बटले AI ट्रेनिङ, AI सर्च र लाइभ उत्तरका लागि तपाईंको साइट पढ्छन्, सञ्चालकका अनुसार हरेकले के गर्छ, र यसलाई कसरी अनुमति दिने, ब्लक गर्ने वा प्रमाणित गर्ने।
| क्रलर | कम्पनी | उद्देश्य |
|---|---|---|
| GPTBot | OpenAI | AI ट्रेनिङ |
| OAI-SearchBot | OpenAI | AI सर्च |
| ChatGPT-User | OpenAI | प्रयोगकर्ताले अनुरोध गरेको फेच |
| ClaudeBot | Anthropic | AI ट्रेनिङ |
| Claude-SearchBot | Anthropic | AI सर्च |
| Claude-User | Anthropic | प्रयोगकर्ताले अनुरोध गरेको फेच |
| PerplexityBot | Perplexity | AI सर्च |
| Perplexity-User | Perplexity | प्रयोगकर्ताले अनुरोध गरेको फेच |
| Google-Extended | AI ट्रेनिङ | |
| Googlebot | सर्च इन्जिन | |
| Google-CloudVertexBot | प्रयोगकर्ताले अनुरोध गरेको फेच | |
| bingbot | Microsoft | सर्च इन्जिन |
| Applebot | Apple | सर्च इन्जिन |
| Applebot-Extended | Apple | AI ट्रेनिङ |
| CCBot | Common Crawl | AI ट्रेनिङ |
| meta-externalagent | Meta | AI ट्रेनिङ |
| meta-externalfetcher | Meta | प्रयोगकर्ताले अनुरोध गरेको फेच |
| Amazonbot | Amazon | AI ट्रेनिङ |
| DuckAssistBot | DuckDuckGo | AI सर्च |
| MistralAI-User | Mistral AI | प्रयोगकर्ताले अनुरोध गरेको फेच |