AI క్రాలర్ డైరెక్టరీ
AI ట్రైనింగ్, AI సెర్చ్, లైవ్ జవాబుల కోసం మీ సైట్ను ఏ బాట్లు చదువుతాయి, వాటిని నడిపే సంస్థ ప్రకారం ఒక్కోటి ఏమి చేస్తుంది, దాన్ని ఎలా అనుమతించాలి, బ్లాక్ చేయాలి లేదా ధృవీకరించాలి.
| క్రాలర్ | కంపెనీ | ఉద్దేశం |
|---|---|---|
| GPTBot | OpenAI | AI ట్రైనింగ్ |
| OAI-SearchBot | OpenAI | AI సెర్చ్ |
| ChatGPT-User | OpenAI | యూజర్ అభ్యర్థించిన ఫెచ్ |
| ClaudeBot | Anthropic | AI ట్రైనింగ్ |
| Claude-SearchBot | Anthropic | AI సెర్చ్ |
| Claude-User | Anthropic | యూజర్ అభ్యర్థించిన ఫెచ్ |
| PerplexityBot | Perplexity | AI సెర్చ్ |
| Perplexity-User | Perplexity | యూజర్ అభ్యర్థించిన ఫెచ్ |
| Google-Extended | AI ట్రైనింగ్ | |
| Googlebot | సెర్చ్ ఇంజిన్ | |
| Google-CloudVertexBot | యూజర్ అభ్యర్థించిన ఫెచ్ | |
| bingbot | Microsoft | సెర్చ్ ఇంజిన్ |
| Applebot | Apple | సెర్చ్ ఇంజిన్ |
| Applebot-Extended | Apple | AI ట్రైనింగ్ |
| CCBot | Common Crawl | AI ట్రైనింగ్ |
| meta-externalagent | Meta | AI ట్రైనింగ్ |
| meta-externalfetcher | Meta | యూజర్ అభ్యర్థించిన ఫెచ్ |
| Amazonbot | Amazon | AI ట్రైనింగ్ |
| DuckAssistBot | DuckDuckGo | AI సెర్చ్ |
| MistralAI-User | Mistral AI | యూజర్ అభ్యర్థించిన ఫెచ్ |