AI क्रॉलर डिरेक्टरी

कोणते बॉट AI ट्रेनिंग, AI सर्च आणि थेट उत्तरांसाठी तुमची साइट वाचतात, त्यांच्या विक्रेत्यानुसार प्रत्येक काय करतो, आणि त्याला परवानगी कशी द्यावी, ब्लॉक कसे करावे किंवा पडताळणी कशी करावी.

क्रॉलरकंपनीउद्देश
GPTBotOpenAIAI ट्रेनिंग
OAI-SearchBotOpenAIAI सर्च
ChatGPT-UserOpenAIयुजरच्या विनंतीवरून फेच
ClaudeBotAnthropicAI ट्रेनिंग
Claude-SearchBotAnthropicAI सर्च
Claude-UserAnthropicयुजरच्या विनंतीवरून फेच
PerplexityBotPerplexityAI सर्च
Perplexity-UserPerplexityयुजरच्या विनंतीवरून फेच
Google-ExtendedGoogleAI ट्रेनिंग
GooglebotGoogleसर्च इंजिन
Google-CloudVertexBotGoogleयुजरच्या विनंतीवरून फेच
bingbotMicrosoftसर्च इंजिन
ApplebotAppleसर्च इंजिन
Applebot-ExtendedAppleAI ट्रेनिंग
CCBotCommon CrawlAI ट्रेनिंग
meta-externalagentMetaAI ट्रेनिंग
meta-externalfetcherMetaयुजरच्या विनंतीवरून फेच
AmazonbotAmazonAI ट्रेनिंग
DuckAssistBotDuckDuckGoAI सर्च
MistralAI-UserMistral AIयुजरच्या विनंतीवरून फेच

तुमची साइट त्याला आत येऊ देते का ते तपासा →