robots.txt ለAI ክሮውለሮች፦ ምን መፍቀድ፣ ምን ማገድ

የታተመበት

አጭር መልስ

ለሚያሳስብዎት እያንዳንዱ የAI ክሮውለር የራሱን የUser-agent ቡድን ይስጡት። መጠቀስ ከፈለጉ እንደ OAI-SearchBot፣ Claude-SearchBot እና PerplexityBot ያሉ የፍለጋ ክሮውለሮችን ይፍቀዱ፣ እንደ GPTBot፣ ClaudeBot፣ Google-Extended እና Applebot-Extended ያሉ የስልጠና tokensን በተመለከተ ደግሞ ለየብቻ ይወስኑ። የተሰየመ ቡድን ለዚያ ክሮውለር የ* ቡድንን ይተካል።

robots.txt ከ1994 ጀምሮ ያለ እና በ2022 መደበኛ ደረጃ፣ RFC 9309፣ የሆነ ተራ የጽሑፍ ፋይል ነው። አብዛኞቹ የAI አቅራቢዎች ክሮውለሮቻቸው እንደሚከተሉት ይናገራሉ፣ በርካቶቹም ለፍለጋ እና ለስልጠና የተለያዩ tokens ያትማሉ። ይህ robots.txtን የAI ፖሊሲን ለመግለጽ በጣም ቀላሉ ቦታ ያደርገዋል፣ ደንቦቹ እርስዎ የሚያስቡትን ትርጉም እስከያዙ ድረስ።

በዚህ ገጽ ላይ
  1. የAI ክሮውለሮች የትኞቹን የrobots.txt tokens ይጠቀማሉ?
  2. ጥሩ የAI robots.txt ምን ይመስላል?
  3. ክሮውለሮች የትኞቹ ደንቦች በእነሱ ላይ እንደሚተገበሩ እንዴት ይመርጣሉ?
  4. በጣም የተለመዱት የrobots.txt ስህተቶች ምንድን ናቸው?
  5. ከመፍቀድ እና ከመከልከል ባሻገር የAI አጠቃቀም ፖሊሲ መግለጽ እችላለሁ?
  6. ለውጦች ምን ያህል ጊዜ ይወስዳሉ፣ እንዴትስ እፈትሻቸዋለሁ?

የAI ክሮውለሮች የትኞቹን የrobots.txt tokens ይጠቀማሉ?

አቅራቢዎቹ የሚገልጿቸው tokens እነዚህ ናቸው። በRFC 9309 መሠረት ማዛመዱ የፊደል መጠንን አይለይም።

ጥሩ የAI robots.txt ምን ይመስላል?

ይህ ምሳሌ የAI ፍለጋን እና የተጠቃሚ fetchesን ያስገባል፣ ከዋና ዋናዎቹ የስልጠና tokens ያስወጣል፣ እና አንድ የግል ክፍልን ለሁሉም ዝግ ያደርጋል፦

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

በተከታታይ ያሉ በርካታ የUser-agent መስመሮች አንድ ቡድን ይመሠርታሉ፣ ስለዚህ ከስራቸው ያሉት ደንቦች በእያንዳንዳቸው ክሮውለሮች ላይ ይተገበራሉ። ይዘትዎ ለስልጠና እንዲውል የሚፈልጉ ከሆነ ሁለተኛውን ቡድን በቀላሉ ይተዉት። Google-Extendedን ማገድ Google Searchን አይነካም፦ Google በSearch ውስጥ መካተትን እንደማይነካ እና የደረጃ ምልክት እንዳልሆነ ይናገራል። በተመሳሳይ፣ Apple Applebot-Extendedን የሚከለክሉ ገጾች አሁንም በፍለጋ ውጤቶቹ ውስጥ ሊታዩ እንደሚችሉ ይናገራል።

ክሮውለሮች የትኞቹ ደንቦች በእነሱ ላይ እንደሚተገበሩ እንዴት ይመርጣሉ?

RFC 9309 ይህን በትክክል ይገልጻል፣ ዝርዝሮቹም አብዛኞቹን አስገራሚ ነገሮች ያብራራሉ፦

በጣም የተለመዱት የrobots.txt ስህተቶች ምንድን ናቸው?

ከመፍቀድ እና ከመከልከል ባሻገር የAI አጠቃቀም ፖሊሲ መግለጽ እችላለሁ?

Cloudflare ለrobots.txt ሦስት ምልክቶች ያሉት የContent-Signal መስመርን አቅርቧል፦ search (የፍለጋ index መገንባት እና አገናኞችን እና አጫጭር ቅንጭቦችን ማሳየት)፣ ai-input (ለAI መልሶች ይዘትን በቅጽበት መጠቀም) እና ai-train (ሞዴሎችን ማሰልጠን ወይም fine-tuning)። የCloudflare managed robots.txt ይህን ሊጨምርልዎ ይችላል።

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

በrobots.txt ውስጥ እንዳለው ሁሉ እነዚህም ምርጫዎች እንጂ ቴክኒካዊ መቆጣጠሪያዎች አይደሉም። Cloudflare ራሱ robots.txtን ማክበር በፈቃደኝነት እንደሆነ ያስታውሳል። መስመሩ አማራጭ ነው፣ ምንም ጉዳትም የለውም፣ ነገር ግን ከላይ ያሉትን ለእያንዳንዱ ክሮውለር የሚሆኑ ቡድኖች አይተካም።

ለውጦች ምን ያህል ጊዜ ይወስዳሉ፣ እንዴትስ እፈትሻቸዋለሁ?

RFC 9309 ክሮውለሮች cache የተደረገ robots.txtን ከ24 ሰዓታት በላይ መጠቀም እንደሌለባቸው ይናገራል፣ OpenAI እና Perplexity ደግሞ ሁለቱም ለውጦች እስኪተገበሩ አንድ ቀን ገደማ ሊወስዱ እንደሚችሉ ይናገራሉ። robots.txt የመዳረሻ ቁጥጥር እንዳልሆነም ያስታውሱ፦ ደንቦችዎ የሚፈቅዱትን ክሮውለር ፋየርዎል አሁንም ሊያግደው ይችላል።

AISeeWhy robots.txtዎን ለሚፈትነው እያንዳንዱ ክሮውለር በRFC 9309 ይተነትናል፣ የማይደረስባቸውን ወይም እንደ HTML የሚቀርቡ ፋይሎችን ያመለክታል፣ ደንቦችዎ እና አገልጋይዎ የማይስማሙበትን ቦታ ያሳያል እና ለለውጡ ዝግጁ diff ይሰጣል።

ለዚህ ችግር ማስተካከያዎች

ነጻ መሣሪያዎች

ቀጣይ እርምጃዎች

በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች

ተደጋግመው የሚጠየቁ ጥያቄዎች

GPTBotን ወይም ClaudeBotን ማገድ በAI መልሶች ውስጥ መታየቴን ይጎዳል?

በቀጥታ አይጎዳም። ሁለቱም አቅራቢዎች ለፍለጋ የተለዩ የፍለጋ ክሮውለሮችን፣ OAI-SearchBot እና Claude-SearchBotን ይጠቀማሉ። የስልጠና ክሮውለሩን ማገድ የፖሊሲ ምርጫ ነው።

Google-Extended AI Overviewsን ያስቆማል?

አያስቆምም። Google በSearch ውስጥ ያሉ የAI ባህሪያት Googlebotን እና እንደ nosnippet እና noindex ያሉ የተለመዱ የSearch መቆጣጠሪያዎችን እንደሚጠቀሙ ይናገራል። Google-Extended በሌሎች የGoogle ምርቶች ውስጥ የGemini ስልጠናን እና groundingን ይሸፍናል፣ Searchንም አይነካም።

የAI ክሮውለሮች Crawl-delayን ይደግፋሉ?

የRFC 9309 አካል አይደለም። Anthropic Crawl-delayን እንደ መደበኛ ያልሆነ ቅጥያ እንደሚደግፍ ይናገራል፤ ለሌሎች አቅራቢዎች ሰነዶቻቸውን ይፈትሹ።

robots.txt የት መቀመጥ አለበት?

በእያንዳንዱ host root ላይ፣ ለምሳሌ https://example.com/robots.txt። በንዑስ አቃፊ ውስጥ ያለ ፋይል ችላ ይባላል፣ እያንዳንዱ subdomain ደግሞ የራሱ ያስፈልገዋል።

ምንጮች

ተጨማሪ ጽሑፎች