AI კრაულერების კატალოგი

რომელი ბოტები კითხულობენ თქვენს საიტს AI სწავლებისთვის, AI ძიებისთვის და პასუხებისთვის რეალურ დროში, რას აკეთებს თითოეული მისი მომწოდებლის თქმით, და როგორ დავუშვათ, დავბლოკოთ ან გადავამოწმოთ ის.

კრაულერიკომპანიადანიშნულება
GPTBotOpenAIAI სწავლება
OAI-SearchBotOpenAIAI ძიება
ChatGPT-UserOpenAIმომხმარებლის მოთხოვნით მიღება
ClaudeBotAnthropicAI სწავლება
Claude-SearchBotAnthropicAI ძიება
Claude-UserAnthropicმომხმარებლის მოთხოვნით მიღება
PerplexityBotPerplexityAI ძიება
Perplexity-UserPerplexityმომხმარებლის მოთხოვნით მიღება
Google-ExtendedGoogleAI სწავლება
GooglebotGoogleსაძიებო სისტემა
Google-CloudVertexBotGoogleმომხმარებლის მოთხოვნით მიღება
bingbotMicrosoftსაძიებო სისტემა
ApplebotAppleსაძიებო სისტემა
Applebot-ExtendedAppleAI სწავლება
CCBotCommon CrawlAI სწავლება
meta-externalagentMetaAI სწავლება
meta-externalfetcherMetaმომხმარებლის მოთხოვნით მიღება
AmazonbotAmazonAI სწავლება
DuckAssistBotDuckDuckGoAI ძიება
MistralAI-UserMistral AIმომხმარებლის მოთხოვნით მიღება

შეამოწმეთ, უშვებს თუ არა მას თქვენი საიტი →