የAnthropic ክሮውለሮች፦ ClaudeBot፣ Claude-SearchBot እና Claude-User
Anthropic ሦስት ወኪሎችን ያስኬዳል፦ ClaudeBot ሞዴሎቹን ለማሰልጠን ሊውል የሚችል ይዘት ይሰበስባል፣ Claude-SearchBot የClaude የፍለጋ ውጤቶችን ለማሻሻል ክሮውል ያደርጋል፣ Claude-User ደግሞ የClaude ተጠቃሚ ጥያቄ ሲያስፈልገው ገጾችን ያመጣል። እያንዳንዳቸው የራሳቸው የrobots.txt token አላቸው፣ Anthropic ደግሞ ሦስቱም robots.txtን እንደሚያከብሩ ይናገራል። ClaudeBotን ብቻ ማገድ ፍለጋን ወይም የተጠቃሚ fetchesን አያስቆምም።
Anthropic ክሮውለሮቹን በአንድ የእርዳታ ገጽ ላይ ይገልጻል፣ አወቃቀሩም ሌሎች የAI አቅራቢዎችን ይመስላል፦ አንድ ወኪል ለስልጠና፣ አንድ ለፍለጋ እና አንድ ተጠቃሚን ወክሎ ለሚደረጉ የቀጥታ fetches። Claude ገጾችዎን ማግኘት እና መጥቀስ እንዲችል ከፈለጉ፣ በጣም አስፈላጊዎቹ የመጨረሻዎቹ ሁለቱ ናቸው።
በዚህ ገጽ ላይ
ClaudeBot ምን ይሠራል?
ClaudeBot የAnthropic generative AI ሞዴሎችን ለማሰልጠን አስተዋጽኦ ሊያደርግ የሚችል የድር ይዘት ይሰበስባል። እንደ Anthropic ገለጻ፣ እሱን መከልከል የድረ-ገጽዎ የወደፊት ይዘት ከስልጠና የውሂብ ስብስቦች መገለል እንዳለበት ያመለክታል።
Anthropic በIETF ረቂቅ ላይ የተመሠረተ በማሽን የሚነበብ የno-AI-training ምልክትን እንደሚያከብር፣ በrobots.txt ውስጥ ClaudeBotን የሚሰይሙ ደንቦች ደግሞ ከዚያ አጠቃላይ ቅንብር እንደሚቀድሙ ይናገራል። እንደ ሌሎች የስልጠና ክሮውለሮች፣ እሱን ማገድ የፖሊሲ ምርጫ ነው።
Claude-SearchBot ምን ይሠራል?
Claude-SearchBot በClaude ውስጥ ያሉ የፍለጋ ውጤቶችን አግባብነት እና ትክክለኛነት ለማሻሻል ድርን ክሮውል ያደርጋል። Anthropic እሱን ማገድ ይዘትዎ ለፍለጋ index እንዳይደረግ እንደሚከለክል ይናገራል፣ ይህም በተጠቃሚ የፍለጋ ውጤቶች ውስጥ መታየትዎን እና ትክክለኛነትዎን ሊቀንስ ይችላል።
ማንም ስለ ገጾችዎ ሳይጠይቅ የClaude የፍለጋ ባህሪያት እንዲያውቋቸው ከፈለጉ መፍቀድ ያለብዎት ይህን ወኪል ነው። የፍለጋ ክሮውለር ስለሆነ፣ ማንኛውም የፍለጋ ክሮውለር ከሚጠቀምባቸው ነገሮች ይጠቀማል፦ በrobots.txt ውስጥ የተዘረዘረ sitemap፣ ንጹህ የውስጥ አገናኞች እና ይዘታቸውን በመጀመሪያው ምላሽ የሚመልሱ ገጾች።
Claude-User ምን ይሠራል?
Claude-User የClaude ተጠቃሚ የሚያስፈልገውን ጥያቄ ሲጠይቅ ድረ-ገጽን ይደርሳል፣ ለምሳሌ አንድ ሰው URL ሲያጋራ ወይም Claudeን አንድ ነገር እንዲፈልግ ሲጠይቅ። Anthropic እሱን ማገድ ለተጠቃሚ ጥያቄዎች ምላሽ ማምጣትን እንደሚከለክል ይናገራል፣ ይህም በተጠቃሚ በሚመራ የድር ፍለጋ ውስጥ መታየትዎን ሊቀንስ ይችላል።
ከአንዳንድ ሌሎች አቅራቢዎች ያለውን ልዩነት ልብ ይበሉ። Anthropic ቦቶቹ የrobots.txt መመሪያዎችን እንደሚያከብሩ ይገልጻል፣ Claude-Userን በrobots.txt ማገድንም ይገልጻል። በአንጻሩ OpenAI እና Perplexity በተጠቃሚ የተጠየቁ fetchersቻቸው robots.txtን ላይከተሉ እንደሚችሉ ይናገራሉ።
ለClaude የrobots.txt ደንቦችን እንዴት እጽፋለሁ?
እያንዳንዱ ወኪል የራሱ token አለው፣ በRFC 9309 መሠረት ደግሞ ክሮውለርን የሚሰይም ቡድን ለዚያ ክሮውለር የ* ቡድንን ይተካል። የተለመደው ምርጫ ፍለጋን እና የተጠቃሚ fetchesን መፍቀድ እና ከስልጠና መውጣት ነው፦
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / ክሮውሊንግን ከማገድ ይልቅ ማዘግየት ከፈለጉ Anthropic Crawl-delayን እንደ መደበኛ ያልሆነ ቅጥያ ይደግፋል፣ ለምሳሌ በUser-agent: ClaudeBot ስር Crawl-delay: 1። ደንቦቹ በእያንዳንዱ host ከፍተኛ ደረጃ አቃፊ ውስጥ ባለው robots.txt ውስጥ መሆን አለባቸው፣ ስለዚህ እንዲሸፈን በሚፈልጉት እያንዳንዱ subdomain ላይ ይጨምሯቸው።
የAnthropic አወቃቀር ከOpenAI እና Perplexity ጋር ሲነጻጸር እንዴት ነው?
ሦስቱ አቅራቢዎች በተለያዩ ስሞች ተመሳሳዩን ንድፍ ይከተላሉ፣ ይህም የተጣመረ robots.txtን ለመረዳት ቀላል ያደርገዋል። ዋናው ልዩነት እያንዳንዳቸው በተጠቃሚ ጥያቄ ለሚደረጉ የቀጥታ fetches robots.txtን እንዴት እንደሚመለከቱት ነው።
- የፍለጋ ክሮውለር፦ ለAnthropic
Claude-SearchBot፣ ለOpenAIOAI-SearchBot፣ ለPerplexityPerplexityBot። - የስልጠና ክሮውለር፦ ለAnthropic
ClaudeBot፣ ለOpenAIGPTBot። PerplexityPerplexityBotለAI መሠረታዊ ሞዴሎች ይዘትን ለመሰብሰብ እንደማይውል ይናገራል። - የተጠቃሚ fetches፦
Claude-User፣ChatGPT-UserእናPerplexity-User። Anthropic ቦቶቹ robots.txtን እንደሚያከብሩ ይናገራል፤ OpenAI robots.txt በChatGPT-Userላይ ላይተገበር እንደሚችል ይናገራል፤ Perplexity ደግሞPerplexity-Userበአጠቃላይ ችላ እንደሚለው ይናገራል።
ለሦስቱም አንድ robots.txt ከጻፉ፣ የፍለጋ እና የተጠቃሚ tokensን በአንድ ቡድን፣ የስልጠና tokensን ደግሞ በሌላ ቡድን ያስቀምጡ። ይህ ፖሊሲውን ሊነበብ የሚችል ያደርገዋል፣ ለእያንዳንዱ ዓላማ የትኛውን ምርጫ እንዳደረጉም ግልጽ ያደርገዋል።
Anthropicን በIP አድራሻ ማገድ አለብኝ?
Anthropic እንዳይደረግ ይመክራል። ሰነዶቹ IP አድራሻዎችን ማገድ በትክክል ላይሠራ ወይም መውጣትን በዘላቂነት ላያረጋግጥ እንደሚችል ይናገራሉ፣ ምክንያቱም ክሮውለሩ robots.txtዎን እንዳያነብም ያስቆማል። ፖሊሲዎን ለመግለጽ robots.txtን ይጠቀሙ።
Anthropic የክሮውለር IP አድራሻዎቹን በclaude.com/crawling/bots.json ያትማል። ያንን ዝርዝር ለመጠቀም ጠቃሚው መንገድ ከማገድ ተቃራኒ ነው፦ Claude-SearchBot ወይም Claude-User ነኝ የሚል ጥያቄ በእርግጥ ከAnthropic መምጣቱን ፋየርዎልዎ እንዲያረጋግጥ እና እንዲያሳልፈው ያድርጉ።
Claude አሁንም ገጼን ማንበብ የማይችለው ለምንድን ነው?
ፈቃጅ robots.txt ቢኖርም እንኳ ፋየርዎልዎ ወይም CDNዎ ለAnthropic ወኪሎች በ403 ወይም በchallenge ገጽ ሊመልስ ይችላል። Anthropic ቦቶቹ የማለፊያ መከላከያ ቴክኖሎጂዎችን እንደሚያከብሩ እና CAPTCHAsን ለማለፍ እንደማይሞክሩ ይናገራል፣ ስለዚህ የchallenge ገጽ ጉብኝቱን በቀላሉ ያበቃዋል። ጽሑፋቸው JavaScript ከተሠራ በኋላ ብቻ የሚታይ ገጾችም ባዶ ማለት ይቻላል ሆነው ሊደርሱ ይችላሉ።
AISeeWhy ገጽዎን እንደ ClaudeBot፣ Claude-SearchBot እና Claude-User ከአሳሽ ጎን ለጎን ይጠይቃል እና ለእያንዳንዳቸው የrobots.txt ደንቦችዎን ይፈትሻል፣ ስለዚህ የጻፉት ፖሊሲ አገልጋይዎ የሚያስፈጽመው መሆኑን ማየት ይችላሉ።
ቀጣይ እርምጃዎች
በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች
ተደጋግመው የሚጠየቁ ጥያቄዎች
ClaudeBotን ማገድ ድረ-ገጼን ከClaude መልሶች ያስወጣዋል?
በራሱ አያስወጣውም። የፍለጋ indexing እና በተጠቃሚ የተጠየቁ fetches የራሳቸው የrobots.txt tokens ያላቸውን Claude-SearchBot እና Claude-Userን ይጠቀማሉ።
Claude-User robots.txtን ይከተላል?
Anthropic ቦቶቹ robots.txtን እንደሚያከብሩ ይናገራል እና Claude-Userን እዚያ ማገድን ይገልጻል፣ ውጤቱም Claude ለተጠቃሚ ጥያቄዎች ገጾችዎን ማምጣት አለመቻሉ ነው።
የAnthropic ክሮውለሮች CAPTCHA ይፈታሉ?
አይፈቱም። Anthropic ቦቶቹ የማለፊያ መከላከያ ቴክኖሎጂዎችን እንደሚያከብሩ እና CAPTCHAsን ለማለፍ እንደማይሞክሩ ይናገራል።
ClaudeBotን ከማገድ ይልቅ ማዘግየት እችላለሁ?
አዎ። Anthropic Crawl-delayን እንደ መደበኛ ያልሆነ ቅጥያ ይደግፋል፣ ለምሳሌ በrobots.txtዎ የClaudeBot ቡድን ውስጥ Crawl-delay: 1።
ጥያቄ በእርግጥ ከAnthropic መምጣቱን እንዴት ማረጋገጥ እችላለሁ?
የምንጩን IP Anthropic በclaude.com/crawling/bots.json ከሚያትመው ዝርዝር ጋር ያነጻጽሩ። user agent ብቻውን በማንም ሊቀዳ ይችላል።
ምንጮች
- Anthropic: Anthropic ከድር ውሂብ ይሰበስባል? የድረ-ገጽ ባለቤቶች ክሮውለሩን እንዴት ሊያግዱ ይችላሉ?
- RFC 9309: Robots Exclusion Protocol