ClaudeBot
ClaudeBot የgenerative AI ሞዴሎቹን ለማሰልጠን ጥቅም ላይ ሊውል የሚችል የድር ይዘትን የሚሰበስብ የAnthropic ክሮውለር ነው። በrobots.txt ውስጥ መከልከሉ የድረ-ገጽዎ የወደፊት ይዘት ከስልጠና መገለል እንዳለበት ያመለክታል። እሱን ብቻ ማገድ ለፍለጋ እና ለቀጥታ መልሶች የሚያገለግሉትን Claude-SearchBotን ወይም Claude-Userን አያቆምም።
እንዴት እንደሚፈቀድ
User-agent: ClaudeBot
Allow: / እንዴት እንደሚታገድ
User-agent: ClaudeBot
Disallow: / ምን ያደርጋል
Anthropic ClaudeBot ጠቀሜታቸውን እና ደህንነታቸውን ለማሳደግ ሞዴሎቹን ለማሰልጠን አስተዋጽኦ ሊያደርግ የሚችል የድር ይዘትን እንደሚሰበስብ ይናገራል። ClaudeBotን መከልከል የድረ-ገጽዎ የወደፊት ቁሳቁሶች ከስልጠና datasets መገለል እንዳለባቸው ያመለክታል።
Anthropic መደበኛ ያልሆነውን Crawl-delay መመሪያም ይደግፋል፣ ስለዚህ ClaudeBotን ከማገድ ይልቅ ማዘግየት ይችላሉ። በrobots.txt ውስጥ ClaudeBotን የሚጠቅሱ ደንቦች ከAnthropic አጠቃላይ የno-AI-training ምልክት ቅድሚያ ያገኛሉ። የrobots.txt ደንቦች በhost ደረጃ ይተገበራሉ፣ ስለዚህ እንዲሸፈን በሚፈልጉት እያንዳንዱ subdomain ላይ ይጨምሯቸው።
በ2026-11 ባደረግነው ጥናት robots.txt ካላቸው ታዋቂ ድረ-ገጾች 21.2% አግደውታል። →
የrobots.txt token
ClaudeBot
እውነተኛ ጉብኝቶችን እንዴት ማረጋገጥ እንደሚቻል
Anthropic የክሮውለሮቹን የIP አድራሻዎች በclaude.com/crawling/bots.json ላይ ያትማል፣ IPው በዚያ ዝርዝር ውስጥ ያለ ክሮውለር ከAnthropic እንደሚመጣም ይናገራል። user agentን ከማመን ይልቅ የምንጩን IP ከዝርዝሩ ጋር ያዛምዱ። Anthropic ለመውጣት IPን ማገድን አይመክርም፣ ምክንያቱም ክሮውለሩ robots.txtን እንዳያነብም ያቆመዋል።
የAnthropic ክሮውለሮች፦ ClaudeBot፣ Claude-SearchBot እና Claude-User →