robots.txt ለAI ክሮውለሮች፦ ምን መፍቀድ፣ ምን ማገድ
ለሚያሳስብዎት እያንዳንዱ የAI ክሮውለር የራሱን የUser-agent ቡድን ይስጡት። መጠቀስ ከፈለጉ እንደ OAI-SearchBot፣ Claude-SearchBot እና PerplexityBot ያሉ የፍለጋ ክሮውለሮችን ይፍቀዱ፣ እንደ GPTBot፣ ClaudeBot፣ Google-Extended እና Applebot-Extended ያሉ የስልጠና tokensን በተመለከተ ደግሞ ለየብቻ ይወስኑ። የተሰየመ ቡድን ለዚያ ክሮውለር የ* ቡድንን ይተካል።
robots.txt ከ1994 ጀምሮ ያለ እና በ2022 መደበኛ ደረጃ፣ RFC 9309፣ የሆነ ተራ የጽሑፍ ፋይል ነው። አብዛኞቹ የAI አቅራቢዎች ክሮውለሮቻቸው እንደሚከተሉት ይናገራሉ፣ በርካቶቹም ለፍለጋ እና ለስልጠና የተለያዩ tokens ያትማሉ። ይህ robots.txtን የAI ፖሊሲን ለመግለጽ በጣም ቀላሉ ቦታ ያደርገዋል፣ ደንቦቹ እርስዎ የሚያስቡትን ትርጉም እስከያዙ ድረስ።
በዚህ ገጽ ላይ
የAI ክሮውለሮች የትኞቹን የrobots.txt tokens ይጠቀማሉ?
አቅራቢዎቹ የሚገልጿቸው tokens እነዚህ ናቸው። በRFC 9309 መሠረት ማዛመዱ የፊደል መጠንን አይለይም።
- OpenAI፦
OAI-SearchBot(የChatGPT ፍለጋ)፣GPTBot(ስልጠና)፣ChatGPT-User(በተጠቃሚ የተጠየቁ ጉብኝቶች፤ OpenAI robots.txt ላይተገበር እንደሚችል ይናገራል)። - Anthropic፦
Claude-SearchBot(ፍለጋ)፣ClaudeBot(ስልጠና)፣Claude-User(በተጠቃሚ የተጠየቁ ጉብኝቶች)። - Perplexity፦
PerplexityBot(ፍለጋ)፣Perplexity-User(በተጠቃሚ የተጠየቁ ጉብኝቶች፤ Perplexity በአጠቃላይ robots.txtን ችላ እንደሚል ይናገራል)። - Google፦
Googlebot(Search፣ የAI ባህሪያቱን ጨምሮ) እናGoogle-Extended፣ በGemini ስልጠና እና grounding ውስጥ መዋልን የሚቆጣጠር የራሱ ክሮውለር የሌለው token። - Apple፦
Applebot(Spotlight፣ Siri፣ የSafari ፍለጋ) እናApplebot-Extended፣ ክሮውል የማያደርግ ነገር ግን የApple መሠረታዊ ሞዴሎችን ለማሰልጠን መዋልን የሚቆጣጠር። - Meta፦
meta-externalagent(ስልጠና እና የምርት indexing) እናmeta-webindexer(የMeta AI ፍለጋ)። - Common Crawl፦
CCBot፣ የCommon Crawlን ነጻ የሕዝብ የድር ውሂብ ማኅደር የሚገነባ።
ጥሩ የAI robots.txt ምን ይመስላል?
ይህ ምሳሌ የAI ፍለጋን እና የተጠቃሚ fetchesን ያስገባል፣ ከዋና ዋናዎቹ የስልጠና tokens ያስወጣል፣ እና አንድ የግል ክፍልን ለሁሉም ዝግ ያደርጋል፦
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml በተከታታይ ያሉ በርካታ የUser-agent መስመሮች አንድ ቡድን ይመሠርታሉ፣ ስለዚህ ከስራቸው ያሉት ደንቦች በእያንዳንዳቸው ክሮውለሮች ላይ ይተገበራሉ። ይዘትዎ ለስልጠና እንዲውል የሚፈልጉ ከሆነ ሁለተኛውን ቡድን በቀላሉ ይተዉት። Google-Extendedን ማገድ Google Searchን አይነካም፦ Google በSearch ውስጥ መካተትን እንደማይነካ እና የደረጃ ምልክት እንዳልሆነ ይናገራል። በተመሳሳይ፣ Apple Applebot-Extendedን የሚከለክሉ ገጾች አሁንም በፍለጋ ውጤቶቹ ውስጥ ሊታዩ እንደሚችሉ ይናገራል።
ክሮውለሮች የትኞቹ ደንቦች በእነሱ ላይ እንደሚተገበሩ እንዴት ይመርጣሉ?
RFC 9309 ይህን በትክክል ይገልጻል፣ ዝርዝሮቹም አብዛኞቹን አስገራሚ ነገሮች ያብራራሉ፦
- ክሮውለር
User-agentው ከምርት tokenኑ ጋር የሚዛመደውን ቡድን የፊደል መጠንን ሳይለይ ይፈልጋል። በርካታ ቡድኖች ከተዛመዱ ደንቦቻቸው ወደ አንድ ይጣመራሉ። - ክሮውለሩ የ
User-agent: *ቡድንን የሚከተለው ምንም ቡድን ካልተዛመደ ብቻ ነው። የተሰየመ ቡድን ከ*ምንም አይወርስም። - በቡድኑ ውስጥ ረጅሙ የሚዛመድ path ያለው ደንብ ያሸንፋል። ለ
/blog/postAllow: /blog/ከDisallow: /ያሸንፋል። - የ
Allowእና የDisallowደንብ በእኩል ርዝመት ከተዛመዱAllowመጠቀም አለበት። - በpath ውስጥ ያለ
*ማንኛውንም ቁምፊዎች ያዛምዳል፣$ደግሞ መጨረሻውን ያስራል፣ ስለዚህDisallow: /*.pdf$እያንዳንዱን PDF ይሸፍናል።
በጣም የተለመዱት የrobots.txt ስህተቶች ምንድን ናቸው?
- የተሰየመ ቡድን ከ
*እንዲወርስ መጠበቅ።Allow: /ብቻ ያለው የOAI-SearchBotቡድን በ*ስር የከለከሏቸውን ጨምሮ እያንዳንዱን path ይከፍታል። - የHTML ገጽ የሚመልስ የrobots.txt አድራሻ፣ ብዙ ጊዜ በሁኔታ 200 የሚቀርብ የ404 ገጽ። ክሮውለሮች በውስጡ ምንም ትክክለኛ ደንብ አያገኙም።
- የአገልጋይ ስህተት የሚመልስ robots.txt። RFC 9309 ክሮውለሩ ያኔ መላው ድረ-ገጽ እንደተከለከለ መገመት አለበት ይላል። 404 የተለየ ነው፦ ምንም ገደቦች የሉም ማለት ነው።
- ስልጠናን ለማገድ አስቦ የፍለጋ tokenን ማገድ፣ ለምሳሌ የሞዴል ስልጠናን ለማስቀረት
PerplexityBotን ወይምClaude-SearchBotን መከልከል። - በተጠቃሚ የተጠየቁ fetchesን ለማስቆም በrobots.txt ላይ መተማመን። OpenAI እና Perplexity ሁለቱም user agentsቻቸው ላይከተሉት እንደሚችሉ ይናገራሉ።
- subdomainsን መርሳት። እያንዳንዱ host የራሱ robots.txt አለው፤ የAnthropic ሰነዶች የድረ-ገጽ ባለቤቶች ለእያንዳንዱ subdomain ደንቦችን እንዲጨምሩ ያስታውሳሉ።
ከመፍቀድ እና ከመከልከል ባሻገር የAI አጠቃቀም ፖሊሲ መግለጽ እችላለሁ?
Cloudflare ለrobots.txt ሦስት ምልክቶች ያሉት የContent-Signal መስመርን አቅርቧል፦ search (የፍለጋ index መገንባት እና አገናኞችን እና አጫጭር ቅንጭቦችን ማሳየት)፣ ai-input (ለAI መልሶች ይዘትን በቅጽበት መጠቀም) እና ai-train (ሞዴሎችን ማሰልጠን ወይም fine-tuning)። የCloudflare managed robots.txt ይህን ሊጨምርልዎ ይችላል።
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / በrobots.txt ውስጥ እንዳለው ሁሉ እነዚህም ምርጫዎች እንጂ ቴክኒካዊ መቆጣጠሪያዎች አይደሉም። Cloudflare ራሱ robots.txtን ማክበር በፈቃደኝነት እንደሆነ ያስታውሳል። መስመሩ አማራጭ ነው፣ ምንም ጉዳትም የለውም፣ ነገር ግን ከላይ ያሉትን ለእያንዳንዱ ክሮውለር የሚሆኑ ቡድኖች አይተካም።
ለውጦች ምን ያህል ጊዜ ይወስዳሉ፣ እንዴትስ እፈትሻቸዋለሁ?
RFC 9309 ክሮውለሮች cache የተደረገ robots.txtን ከ24 ሰዓታት በላይ መጠቀም እንደሌለባቸው ይናገራል፣ OpenAI እና Perplexity ደግሞ ሁለቱም ለውጦች እስኪተገበሩ አንድ ቀን ገደማ ሊወስዱ እንደሚችሉ ይናገራሉ። robots.txt የመዳረሻ ቁጥጥር እንዳልሆነም ያስታውሱ፦ ደንቦችዎ የሚፈቅዱትን ክሮውለር ፋየርዎል አሁንም ሊያግደው ይችላል።
AISeeWhy robots.txtዎን ለሚፈትነው እያንዳንዱ ክሮውለር በRFC 9309 ይተነትናል፣ የማይደረስባቸውን ወይም እንደ HTML የሚቀርቡ ፋይሎችን ያመለክታል፣ ደንቦችዎ እና አገልጋይዎ የማይስማሙበትን ቦታ ያሳያል እና ለለውጡ ዝግጁ diff ይሰጣል።
ለዚህ ችግር ማስተካከያዎች
- robots.txt GPTBotን ይፈቅዳል፣ ነገር ግን አገልጋዩ ያግደዋል
- robots.txt OAI-SearchBotን ይከለክላል
- robots.txt የHTML ገጽ ነው
- በrobots.txt ውስጥ Content-Signal የለም
ቀጣይ እርምጃዎች
በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች
ተደጋግመው የሚጠየቁ ጥያቄዎች
GPTBotን ወይም ClaudeBotን ማገድ በAI መልሶች ውስጥ መታየቴን ይጎዳል?
በቀጥታ አይጎዳም። ሁለቱም አቅራቢዎች ለፍለጋ የተለዩ የፍለጋ ክሮውለሮችን፣ OAI-SearchBot እና Claude-SearchBotን ይጠቀማሉ። የስልጠና ክሮውለሩን ማገድ የፖሊሲ ምርጫ ነው።
Google-Extended AI Overviewsን ያስቆማል?
አያስቆምም። Google በSearch ውስጥ ያሉ የAI ባህሪያት Googlebotን እና እንደ nosnippet እና noindex ያሉ የተለመዱ የSearch መቆጣጠሪያዎችን እንደሚጠቀሙ ይናገራል። Google-Extended በሌሎች የGoogle ምርቶች ውስጥ የGemini ስልጠናን እና groundingን ይሸፍናል፣ Searchንም አይነካም።
የAI ክሮውለሮች Crawl-delayን ይደግፋሉ?
የRFC 9309 አካል አይደለም። Anthropic Crawl-delayን እንደ መደበኛ ያልሆነ ቅጥያ እንደሚደግፍ ይናገራል፤ ለሌሎች አቅራቢዎች ሰነዶቻቸውን ይፈትሹ።
robots.txt የት መቀመጥ አለበት?
በእያንዳንዱ host root ላይ፣ ለምሳሌ https://example.com/robots.txt። በንዑስ አቃፊ ውስጥ ያለ ፋይል ችላ ይባላል፣ እያንዳንዱ subdomain ደግሞ የራሱ ያስፈልገዋል።
ምንጮች
- RFC 9309: Robots Exclusion Protocol
- OpenAI: የOpenAI ክሮውለሮች አጠቃላይ እይታ
- Google: የተለመዱ ክሮውለሮች፣ Google-Extendedን ጨምሮ
- Apple: ስለ Applebot
- Cloudflare: Managed robots.txt እና Content Signals