AI kraulerlari katalogi

Qaysi botlar saytingizni AI oʻqitish, AI qidiruvi va jonli javoblar uchun oʻqiydi, ishlab chiquvchisiga koʻra har biri nima qiladi va unga qanday ruxsat berish, uni qanday bloklash yoki tasdiqlash mumkin.

KraulerKompaniyaMaqsad
GPTBotOpenAIAI oʻqitish
OAI-SearchBotOpenAIAI qidiruvi
ChatGPT-UserOpenAIFoydalanuvchi soʻrovi boʻyicha yuklash
ClaudeBotAnthropicAI oʻqitish
Claude-SearchBotAnthropicAI qidiruvi
Claude-UserAnthropicFoydalanuvchi soʻrovi boʻyicha yuklash
PerplexityBotPerplexityAI qidiruvi
Perplexity-UserPerplexityFoydalanuvchi soʻrovi boʻyicha yuklash
Google-ExtendedGoogleAI oʻqitish
GooglebotGoogleQidiruv tizimi
Google-CloudVertexBotGoogleFoydalanuvchi soʻrovi boʻyicha yuklash
bingbotMicrosoftQidiruv tizimi
ApplebotAppleQidiruv tizimi
Applebot-ExtendedAppleAI oʻqitish
CCBotCommon CrawlAI oʻqitish
meta-externalagentMetaAI oʻqitish
meta-externalfetcherMetaFoydalanuvchi soʻrovi boʻyicha yuklash
AmazonbotAmazonAI oʻqitish
DuckAssistBotDuckDuckGoAI qidiruvi
MistralAI-UserMistral AIFoydalanuvchi soʻrovi boʻyicha yuklash

Saytingiz unga ruxsat berishini tekshiring →