Direktoryo ng AI crawler

Aling mga bot ang nagbabasa ng site mo para sa AI training, AI search at live na sagot, ano ang ginagawa ng bawat isa ayon sa vendor nito, at paano ito papayagan, iba-block o beripikahin.

CrawlerKumpanyaLayunin
GPTBotOpenAIAI training
OAI-SearchBotOpenAIAI search
ChatGPT-UserOpenAIPagkuha na hiniling ng user
ClaudeBotAnthropicAI training
Claude-SearchBotAnthropicAI search
Claude-UserAnthropicPagkuha na hiniling ng user
PerplexityBotPerplexityAI search
Perplexity-UserPerplexityPagkuha na hiniling ng user
Google-ExtendedGoogleAI training
GooglebotGoogleSearch engine
Google-CloudVertexBotGooglePagkuha na hiniling ng user
bingbotMicrosoftSearch engine
ApplebotAppleSearch engine
Applebot-ExtendedAppleAI training
CCBotCommon CrawlAI training
meta-externalagentMetaAI training
meta-externalfetcherMetaPagkuha na hiniling ng user
AmazonbotAmazonAI training
DuckAssistBotDuckDuckGoAI search
MistralAI-UserMistral AIPagkuha na hiniling ng user

Tingnan kung pinapapasok ito ng site mo →