መመሪያ
የrobots.txt testerን እንዴት መጠቀም እንደሚቻል
ይህ ጽሑፍ ከእንግሊዝኛ በማሽን ተተርጉሟል።
ይህ የrobots.txt tester ምን ይፈትሻል
የገጽ አድራሻ ያስገቡ። testerኡ የዚያን አድራሻ scheme እና host ይወስዳል፣ /robots.txtን ከዚያ host ስር ያነባል፣ ደንቦቹንም ለገጽዎ path ይገመግማል። ለእያንዳንዱ ከ16 ክሮውለሮች አንድ ጥያቄ ይመልሳል፦ ይህ ክሮውለር ይህን ገጽ ማምጣት ይችላል?
ክሮውለሮቹ በሚሠሩት ሥራ ተመድበዋል። የስልጠና ክሮውለሮች ለAI ሞዴሎች ገጾችን ይሰበስባሉ፦ GPTBot፣ ClaudeBot፣ CCBot፣ Bytespider እና Meta-ExternalAgent፣ እንዲሁም በrobots.txt ብቻ የሚሠሩት Google-Extended እና Applebot-Extended tokens፣ እነዚህ በራሳቸው ፈጽሞ አይጎበኙም፣ ነገር ግን Google እና Apple ቀደም ብለው ያመጧቸውን ገጾች መጠቀም ይችሉ እንደሆነ ይነግራሉ። የፍለጋ ክሮውለሮች የAI መልሶች እና የፍለጋ ውጤቶች የሚጠቅሷቸውን ኢንዴክሶች ይገነባሉ፦ OAI-SearchBot፣ Claude-SearchBot፣ PerplexityBot፣ Googlebot፣ Bingbot እና Applebot። የተጠቃሚ ወኪሎች አንድ ሰው ረዳቱን ገጹን እንዲከፍት ሲጠይቅ ገጹን ያመጣሉ፦ ChatGPT-User፣ Claude-User እና Perplexity-User።
ከአድራሻ ይልቅ robots.txt መለጠፍም ይችላሉ። ያኔ ምንም አይመጣም፦ testerኡ የለጠፉትን ጽሑፍ ይገመግማል፣ ስለዚህ ለውጥን ከማተምዎ በፊት መሞከር ይችላሉ። የተለጠፈው ጽሑፍ ለመመለስ ብቻ ይውላል፣ አይቀመጥም።
ውጤቶቹን እንዴት ማንበብ እንደሚቻል
ሰንጠረዡ ለእያንዳንዱ ክሮውለር አንድ ረድፍ አለው። የpath ዓምድዎ «ተፈቅዷል» ወይም «ታግዷል» ይላል። የመጨረሻው ዓምድ የፋይሉ የትኛው ክፍል እንደወሰነ ያሳያል፦
- የራሱ ቡድን፦ ፋይሉ የዚህ ክሮውለር token ያለበት
User-agent መስመር አለው፣ ለእሱም የሚቆጠሩት የዚያ ቡድን ደንቦች ብቻ ናቸው። - User-agent: *፦ ክሮውለሩን የሚጠቅስ ቡድን የለም፣ ስለዚህ አጠቃላዩን ቡድን ይከተላል።
- ደንብ የለም፦ ምንም ቡድን አይመለከተውም፣ ስለዚህ ገጹ ተፈቅዷል።
ከሰንጠረዡ በታች ፋይሉ የዘረዘራቸውን Sitemap መስመሮች እና ካለው የContent-Signal መስመሩን ያያሉ። አድራሻው ከጽሑፍ ፋይል ይልቅ ድረ-ገጽ ከመለሰ ወይም ምንም ፋይል ካልመለሰ፣ testerኡ ይህን ይነግርዎታል፦ ክሮውለሮች በ/robots.txt ላይ ያለን HTML ገጽ እንደሌለ ፋይል ይቆጥሩታል።
«ተፈቅዷል» የሚል ረድፍ ማለት robots.txt ያንን ክሮውለር አያቆመውም ማለት ብቻ ነው። ክሮውለሩ ይጎበኛል ማለት አይደለም፣ ስለ ፋየርዎልዎም ምንም አይናገርም።
ክሮውለር ደንቦቹን እንዴት እንደሚመርጥ
የrobots.txt መስፈርት የሆነው RFC 9309 ሦስት ደንቦችን ያስቀምጣል፣ እነዚህም አስገራሚ የሚመስሉትን ውጤቶች ከሞላ ጎደል ሁሉ ያብራራሉ። ክሮውለር በመጀመሪያ User-agentቸው ከtokenኡ ጋር የሚዛመድ ቡድኖችን ይፈልጋል፣ የፊደል መጠንን ሳይለይ። ካገኘ እነዚያን ቡድኖች ብቻ ይከተላል፣ User-agent: *ን ሙሉ በሙሉ ችላ ይላል። በተመረጠው ቡድን ውስጥ ረጅሙ የሚዛመድ path ያለው ደንብ ያሸንፋል፣ Allow እና Disallow በእኩል ርዝመት ከተዛመዱ ደግሞ Allow ያሸንፋል።
User-agent: *
Disallow: /private/
Allow: /private/press/
User-agent: GPTBot
Disallow: /
በዚህ ፋይል GPTBot የራሱ ቡድን ስላለው ከሁሉም ገጾች ታግዷል። ሌሎቹ ክሮውለሮች ሁሉ /private/press/kit.pdfን ማምጣት ይችላሉ፣ ምክንያቱም Allow: /private/press/ ከDisallow: /private/ ይረዝማል፣ ከ/private/notes/ ግን ታግደዋል። ሁለቱንም paths በtesterኡ ይሞክሩ፣ ውሳኔው ከአንዱ ቡድን ወደ ሌላው ሲቀየር ያያሉ።
የተለመዱ ስህተቶች፣ ከምሳሌዎች ጋር
- ተደራርበው የተጻፉ
User-agent መስመሮች አንድ ቡድን ይጋራሉ። User-agent: GPTBot፣ ከዚያ User-agent: OAI-SearchBot፣ ከዚያ Disallow: / ያለው ፋይል ሁለቱንም ክሮውለሮች ያግዳል፣ ስለዚህ ስልጠናን ለማቆም የፈለገ ድረ-ገጽ ከChatGPT ፍለጋም ይጠፋል። - የተሳሳተውን የOpenAI token ማገድ።
GPTBot የስልጠና መረጃ ይሰበስባል፤ OAI-SearchBot ChatGPT ፍለጋ እርስዎን ማሳየት እና መጥቀስ ይችል እንደሆነ ይወስናል። ስልጠናን ለማቆም OAI-SearchBotን ወይም ChatGPT-Userን ማገድ በምትኩ ከመልሶች ያስወጣዎታል። - አንድ ቁምፊ ደንብን ይገለብጣል። ከኋላው ምንም የሌለው
Disallow: ሁሉንም ይፈቅዳል፤ Disallow: / ሁሉንም ያግዳል። - Paths የፊደል መጠንን ይለያሉ።
Disallow: /Blog/ /blog/ን አያግድም። - Wildcards ጥንቃቄ ይፈልጋሉ።
Disallow: /*.pdf /file.pdf?download=1ንም ያግዳል፤ Disallow: /*.pdf$ የሚያግደው በ.pdf የሚያልቁ አድራሻዎችን ብቻ ነው። - ፋይሉ በተሳሳተ host ላይ ነው። robots.txt የሚሠራው ለሚቀርብበት scheme እና host ብቻ ነው፣ ስለዚህ
www.example.com፣ example.com እና shop.example.com እያንዳንዳቸው የራሳቸው ፋይል ያስፈልጋቸዋል። - ሰርቨሩ በስህተት ይመልሳል። 4xx ምላሽ ክሮውለሮች ሁሉንም ማምጣት ይችላሉ ማለት ነው። 5xx ምላሽ ወይም timeout ፋይሉ እንደገና እስኪነበብ ድረስ ሁሉም ነገር እንደተከለከለ መገመት አለባቸው ማለት ነው፣ ስለዚህ የተበላሸ
/robots.txt ክሮውሊንግን ሁሉ ሊያቆም ይችላል። - ክሮውለሮች የማይከተሏቸው ደንቦች።
Noindex: እና Crawl-delay: የRFC 9309 አካል አይደሉም፣ Google ሁለቱንም ችላ ይላል። - robots.txt ገጽን ከፍለጋ ያስወግዳል ብሎ መጠበቅ። ክሮውሊንግን ያቆማል እንጂ indexingን አይደለም፦ የታገደ አድራሻ ያለ ጽሑፉ አሁንም ሊዘረዘር ይችላል። ገጽን ከኢንዴክሱ ውጭ ለማድረግ ክሮውሊንግን ይፍቀዱ፣ የ
noindex meta tag ወይም header ይጠቀሙ።
የስልጠና፣ የፍለጋ እና የተጠቃሚ ክሮውለሮች፦ እያንዳንዳቸውን ማገድ ምን ያደርጋል
የስልጠና ክሮውለርን ማገድ የፖሊሲ ምርጫ ነው። ገጾችዎን ከወደፊት የሞዴል ስልጠና ውጭ ያደርጋል፣ የAI ፍለጋ ዛሬ እርስዎን መጥቀስ መቻሉን ግን አይነካም። እንደ OAI-SearchBot፣ Claude-SearchBot ወይም PerplexityBot ያለ የፍለጋ ክሮውለርን ማገድ ገጾችዎን ከዚያ ረዳት መልሶች ውጭ ያደርጋል። Googlebotን ወይም Bingbotን ማገድ ከእነዚያ የፍለጋ ሞተሮች እና በእነሱ ላይ ከተገነቡት የAI ባህሪያት ያስወጣዎታል።
እንደ ChatGPT-User ያሉ የተጠቃሚ ወኪሎች ገጽዎን ለጠየቀ ሰው ይሠራሉ። አንዳንድ አቅራቢዎች እነዚህ ወኪሎች ለእንደዚህ ዓይነት ጥያቄዎች robots.txtን ላይከተሉ እንደሚችሉ ይናገራሉ፣ ስለዚህ ለእነሱ የተጻፈ ደንብ ጥያቄ እንጂ ዋስትና አይደለም። ስልጠና ጠፍቶ የAI ፍለጋ እንዲበራ ከፈለጉ የስልጠና tokensን ያግዱ፣ የፍለጋ እና የተጠቃሚ tokensን ሳይነኩ ይተዉ።
ከማተምዎ በፊት ይሞክሩ፣ ከዚያም እንደገና
ረቂቅዎን በtesterኡ ይለጥፉ፣ እንደ ምርት ወይም የዋጋ ገጽ ያለ አስፈላጊ ገጽ path ያስገቡ፣ የሚያሳስብዎትን እያንዳንዱን ክሮውለር ረድፍ ያንብቡ። ለማገድ ባሰቡት path ይድገሙ። ውጤቶቹ ከሐሳብዎ ጋር ሲዛመዱ ፋይሉን ያትሙ፣ testerኡንም በቀጥታ አድራሻው እንደገና ያስኪዱ፣ ይህም ሰርቨሩ ያስተካከሉትን ፋይል እንደሚመልስ ያረጋግጣል።
ክሮውለሮች robots.txtን cache ያደርጋሉ፤ ለምሳሌ Google ቅጂውን ብዙውን ጊዜ በ24 ሰዓታት ውስጥ ያድሳል። ለውጥ በባህሪያቸው ላይ ለመታየት አንድ ቀን ሊወስድ ይችላል፣ በGoogle Search Console ያለው የrobots.txt ሪፖርት ደግሞ Google ለመጨረሻ ጊዜ ያመጣውን ቅጂ ያሳያል።
robots.txt ክሮውለርን ሲፈቅድ እና አሁንም ሲታገድ
robots.txt ጥያቄ ብቻ ነው። ፋየርዎል፣ የቦት ጥበቃ አገልግሎት ወይም የCDN ደንብ ሰዎች ገጹን እያገኙ ለክሮውለር በ403 ወይም በchallenge ገጽ ሊመልስ ይችላል። testerኡ አንድ ፋይል ብቻ ስለሚያነብ ይህን ማየት አይችልም። ሙሉው ፍተሻ ገጽዎን በእያንዳንዱ ክሮውለር user agent ከተራ አሳሽ ጎን ለጎን ያመጣል፣ የትኛው ክሮውለር የተለየ መልስ እንደሚያገኝም ከHTTP status እና ከፋየርዎሉ ፊርማ ጋር ያሳያል።
ተደጋግመው የሚጠየቁ ጥያቄዎች
ይህ ከGoogle robots.txt Tester ጋር አንድ ነው?
አይደለም። Google ለብቻው የሚሠራውን robots.txt Tester በ2023 አቁሟል፤ በSearch Console ያለው የrobots.txt ሪፖርት አሁን Google ያመጣውን ፋይል እና የparsing ስህተቶችን ያሳያል፣ ለGoogle ክሮውለሮች ብቻ። ይህ tester ተመሳሳዮቹን የRFC 9309 ደንቦች በአንድ ጊዜ ለ16 የAI እና የፍለጋ ክሮውለሮች ይተገብራል።
«ተፈቅዷል» ማለት ክሮውለሩ ገጼን ያነባል ወይም ይጠቅሳል ማለት ነው?
አይደለም። robots.txt አይከለክለውም ማለት ነው። ክሮውለሩ ገጹን ያገኝ እንደሆነ በሰርቨርዎ እና በፋየርዎልዎ ይወሰናል፣ ረዳቱ ይጠቅሰው እንደሆነ ደግሞ በይዘትዎ እና በተጠየቀው ጥያቄ ይወሰናል።
ለምን ክሮውለሩ «ደንብ የለም» ያሳያል?
ፋይልዎ ለtokenኡ ቡድን የለውም፣ የUser-agent: * ቡድንም የለውም፣ ስለዚህ ምንም አይመለከተውም፣ ሁሉም paths ተፈቅደዋል።
ገና ያልታተመ robots.txt መሞከር እችላለሁ?
አዎ። ጽሑፉን በሁለተኛው መስክ ይለጥፉ፣ የሚሞከረውን path ያስገቡ። ከድረ-ገጽዎ ምንም አይመጣም፣ የተለጠፈው ጽሑፍም አይቀመጥም።
testerኡ እንደ GPTBot ወይም እንደ ሌሎቹ ክሮውለሮች ጥያቄዎችን ይልካል?
አይልክም። robots.txtዎን ብቻ ያነባል፣ ደንቦቹንም ይተገብራል። እያንዳንዱ ክሮውለር ከሰርቨርዎ በእውነት የሚቀበለውን ለማየት ሙሉውን ፍተሻ ያስኪዱ።
ምን ያህል ጊዜ ልጠቀምበት እችላለሁ?
ነጻ ነው፣ መለያም አያስፈልገውም። ለሁሉም ተደራሽ ሆኖ እንዲቆይ እያንዳንዱ አውታረ መረብ በሰዓት የተወሰነ ቁጥር ያላቸውን ሙከራዎች ማስኬድ ይችላል።
ተዛማጅ መሣሪያዎች እና መመሪያዎች