AI ক্রলার ডিরেক্টরি
কোন বট AI ট্রেনিং, AI সার্চ ও লাইভ উত্তরের জন্য আপনার সাইট পড়ে, ভেন্ডরের ভাষ্য অনুযায়ী প্রতিটি কী করে, এবং কীভাবে সেটিকে অনুমতি দেবেন, ব্লক করবেন বা যাচাই করবেন।
| ক্রলার | কোম্পানি | উদ্দেশ্য |
|---|---|---|
| GPTBot | OpenAI | AI ট্রেনিং |
| OAI-SearchBot | OpenAI | AI সার্চ |
| ChatGPT-User | OpenAI | ব্যবহারকারীর অনুরোধে আনা |
| ClaudeBot | Anthropic | AI ট্রেনিং |
| Claude-SearchBot | Anthropic | AI সার্চ |
| Claude-User | Anthropic | ব্যবহারকারীর অনুরোধে আনা |
| PerplexityBot | Perplexity | AI সার্চ |
| Perplexity-User | Perplexity | ব্যবহারকারীর অনুরোধে আনা |
| Google-Extended | AI ট্রেনিং | |
| Googlebot | সার্চ ইঞ্জিন | |
| Google-CloudVertexBot | ব্যবহারকারীর অনুরোধে আনা | |
| bingbot | Microsoft | সার্চ ইঞ্জিন |
| Applebot | Apple | সার্চ ইঞ্জিন |
| Applebot-Extended | Apple | AI ট্রেনিং |
| CCBot | Common Crawl | AI ট্রেনিং |
| meta-externalagent | Meta | AI ট্রেনিং |
| meta-externalfetcher | Meta | ব্যবহারকারীর অনুরোধে আনা |
| Amazonbot | Amazon | AI ট্রেনিং |
| DuckAssistBot | DuckDuckGo | AI সার্চ |
| MistralAI-User | Mistral AI | ব্যবহারকারীর অনুরোধে আনা |