robots.txt tester እና ፈታሽ ለAI ክሮውለሮች

የገጽ አድራሻ ያስገቡ፦ የድረ-ገጹን robots.txt እናነባለን እና ለእያንዳንዱ የAI እና የፍለጋ ክሮውለር ያንን ገጽ ማምጣት ይችል እንደሆነ እናሳያለን። ወይም robots.txt ከማተምዎ በፊት ለመፈተሽ ይለጥፉት።

robots.txt ጥያቄ ብቻ ነው። robots.txt የሚፈቅደውን ክሮውለር ፋየርዎል ወይም የቦት መከላከያ አሁንም ሊያግደው ይችላል፤ ሙሉው ፍተሻ ያንን ይፈትሻል። ሙሉውን ፍተሻ ያካሂዱ →

ለተከፈተው ገጽ ያው ፍተሻ፣ በአንድ ጠቅታ፦ የAI ክሮውለር ፈታሽ ↗

የAI ክሮውለሮች robots.txtን እንዴት እንደሚያነቡ

እያንዳንዱ ክሮውለር tokenኑን የሚጠቅሰውን ቡድን ይከተላል (ለምሳሌ GPTBot ወይም PerplexityBot)፤ የሚጠቅሰው ከሌለ ብቻ User-agent: *ን ይከተላል። በአንድ ቡድን ውስጥ ረጅሙ የሚዛመድ ደንብ ያሸንፋል፣ እኩል ሲሆኑ ደግሞ Allow ያሸንፋል። እንደ GPTBot፣ ClaudeBot ወይም Google-Extended ያሉ የስልጠና ክሮውለሮችን ማገድ ይዘትዎን ከሞዴል ስልጠና ያርቃል፤ እንደ OAI-SearchBot፣ ChatGPT-User ወይም PerplexityBot ያሉ የፍለጋ እና የተጠቃሚ ክሮውለሮችን ማገድ ደግሞ ገጾችዎን ከAI መልሶች ያርቃል።

መመሪያ

የrobots.txt testerን እንዴት መጠቀም እንደሚቻል

ይህ ጽሑፍ ከእንግሊዝኛ በማሽን ተተርጉሟል።

ይህ የrobots.txt tester ምን ይፈትሻል

የገጽ አድራሻ ያስገቡ። testerኡ የዚያን አድራሻ scheme እና host ይወስዳል፣ /robots.txtን ከዚያ host ስር ያነባል፣ ደንቦቹንም ለገጽዎ path ይገመግማል። ለእያንዳንዱ ከ16 ክሮውለሮች አንድ ጥያቄ ይመልሳል፦ ይህ ክሮውለር ይህን ገጽ ማምጣት ይችላል?

ክሮውለሮቹ በሚሠሩት ሥራ ተመድበዋል። የስልጠና ክሮውለሮች ለAI ሞዴሎች ገጾችን ይሰበስባሉ፦ GPTBot፣ ClaudeBot፣ CCBot፣ Bytespider እና Meta-ExternalAgent፣ እንዲሁም በrobots.txt ብቻ የሚሠሩት Google-Extended እና Applebot-Extended tokens፣ እነዚህ በራሳቸው ፈጽሞ አይጎበኙም፣ ነገር ግን Google እና Apple ቀደም ብለው ያመጧቸውን ገጾች መጠቀም ይችሉ እንደሆነ ይነግራሉ። የፍለጋ ክሮውለሮች የAI መልሶች እና የፍለጋ ውጤቶች የሚጠቅሷቸውን ኢንዴክሶች ይገነባሉ፦ OAI-SearchBot፣ Claude-SearchBot፣ PerplexityBot፣ Googlebot፣ Bingbot እና Applebot። የተጠቃሚ ወኪሎች አንድ ሰው ረዳቱን ገጹን እንዲከፍት ሲጠይቅ ገጹን ያመጣሉ፦ ChatGPT-User፣ Claude-User እና Perplexity-User።

ከአድራሻ ይልቅ robots.txt መለጠፍም ይችላሉ። ያኔ ምንም አይመጣም፦ testerኡ የለጠፉትን ጽሑፍ ይገመግማል፣ ስለዚህ ለውጥን ከማተምዎ በፊት መሞከር ይችላሉ። የተለጠፈው ጽሑፍ ለመመለስ ብቻ ይውላል፣ አይቀመጥም።

ውጤቶቹን እንዴት ማንበብ እንደሚቻል

ሰንጠረዡ ለእያንዳንዱ ክሮውለር አንድ ረድፍ አለው። የpath ዓምድዎ «ተፈቅዷል» ወይም «ታግዷል» ይላል። የመጨረሻው ዓምድ የፋይሉ የትኛው ክፍል እንደወሰነ ያሳያል፦

ከሰንጠረዡ በታች ፋይሉ የዘረዘራቸውን Sitemap መስመሮች እና ካለው የContent-Signal መስመሩን ያያሉ። አድራሻው ከጽሑፍ ፋይል ይልቅ ድረ-ገጽ ከመለሰ ወይም ምንም ፋይል ካልመለሰ፣ testerኡ ይህን ይነግርዎታል፦ ክሮውለሮች በ/robots.txt ላይ ያለን HTML ገጽ እንደሌለ ፋይል ይቆጥሩታል።

«ተፈቅዷል» የሚል ረድፍ ማለት robots.txt ያንን ክሮውለር አያቆመውም ማለት ብቻ ነው። ክሮውለሩ ይጎበኛል ማለት አይደለም፣ ስለ ፋየርዎልዎም ምንም አይናገርም።

ክሮውለር ደንቦቹን እንዴት እንደሚመርጥ

የrobots.txt መስፈርት የሆነው RFC 9309 ሦስት ደንቦችን ያስቀምጣል፣ እነዚህም አስገራሚ የሚመስሉትን ውጤቶች ከሞላ ጎደል ሁሉ ያብራራሉ። ክሮውለር በመጀመሪያ User-agentቸው ከtokenኡ ጋር የሚዛመድ ቡድኖችን ይፈልጋል፣ የፊደል መጠንን ሳይለይ። ካገኘ እነዚያን ቡድኖች ብቻ ይከተላል፣ User-agent: *ን ሙሉ በሙሉ ችላ ይላል። በተመረጠው ቡድን ውስጥ ረጅሙ የሚዛመድ path ያለው ደንብ ያሸንፋል፣ Allow እና Disallow በእኩል ርዝመት ከተዛመዱ ደግሞ Allow ያሸንፋል።

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

በዚህ ፋይል GPTBot የራሱ ቡድን ስላለው ከሁሉም ገጾች ታግዷል። ሌሎቹ ክሮውለሮች ሁሉ /private/press/kit.pdfን ማምጣት ይችላሉ፣ ምክንያቱም Allow: /private/press/ ከDisallow: /private/ ይረዝማል፣ ከ/private/notes/ ግን ታግደዋል። ሁለቱንም paths በtesterኡ ይሞክሩ፣ ውሳኔው ከአንዱ ቡድን ወደ ሌላው ሲቀየር ያያሉ።

የተለመዱ ስህተቶች፣ ከምሳሌዎች ጋር

የስልጠና፣ የፍለጋ እና የተጠቃሚ ክሮውለሮች፦ እያንዳንዳቸውን ማገድ ምን ያደርጋል

የስልጠና ክሮውለርን ማገድ የፖሊሲ ምርጫ ነው። ገጾችዎን ከወደፊት የሞዴል ስልጠና ውጭ ያደርጋል፣ የAI ፍለጋ ዛሬ እርስዎን መጥቀስ መቻሉን ግን አይነካም። እንደ OAI-SearchBot፣ Claude-SearchBot ወይም PerplexityBot ያለ የፍለጋ ክሮውለርን ማገድ ገጾችዎን ከዚያ ረዳት መልሶች ውጭ ያደርጋል። Googlebotን ወይም Bingbotን ማገድ ከእነዚያ የፍለጋ ሞተሮች እና በእነሱ ላይ ከተገነቡት የAI ባህሪያት ያስወጣዎታል።

እንደ ChatGPT-User ያሉ የተጠቃሚ ወኪሎች ገጽዎን ለጠየቀ ሰው ይሠራሉ። አንዳንድ አቅራቢዎች እነዚህ ወኪሎች ለእንደዚህ ዓይነት ጥያቄዎች robots.txtን ላይከተሉ እንደሚችሉ ይናገራሉ፣ ስለዚህ ለእነሱ የተጻፈ ደንብ ጥያቄ እንጂ ዋስትና አይደለም። ስልጠና ጠፍቶ የAI ፍለጋ እንዲበራ ከፈለጉ የስልጠና tokensን ያግዱ፣ የፍለጋ እና የተጠቃሚ tokensን ሳይነኩ ይተዉ።

ከማተምዎ በፊት ይሞክሩ፣ ከዚያም እንደገና

ረቂቅዎን በtesterኡ ይለጥፉ፣ እንደ ምርት ወይም የዋጋ ገጽ ያለ አስፈላጊ ገጽ path ያስገቡ፣ የሚያሳስብዎትን እያንዳንዱን ክሮውለር ረድፍ ያንብቡ። ለማገድ ባሰቡት path ይድገሙ። ውጤቶቹ ከሐሳብዎ ጋር ሲዛመዱ ፋይሉን ያትሙ፣ testerኡንም በቀጥታ አድራሻው እንደገና ያስኪዱ፣ ይህም ሰርቨሩ ያስተካከሉትን ፋይል እንደሚመልስ ያረጋግጣል።

ክሮውለሮች robots.txtን cache ያደርጋሉ፤ ለምሳሌ Google ቅጂውን ብዙውን ጊዜ በ24 ሰዓታት ውስጥ ያድሳል። ለውጥ በባህሪያቸው ላይ ለመታየት አንድ ቀን ሊወስድ ይችላል፣ በGoogle Search Console ያለው የrobots.txt ሪፖርት ደግሞ Google ለመጨረሻ ጊዜ ያመጣውን ቅጂ ያሳያል።

robots.txt ክሮውለርን ሲፈቅድ እና አሁንም ሲታገድ

robots.txt ጥያቄ ብቻ ነው። ፋየርዎል፣ የቦት ጥበቃ አገልግሎት ወይም የCDN ደንብ ሰዎች ገጹን እያገኙ ለክሮውለር በ403 ወይም በchallenge ገጽ ሊመልስ ይችላል። testerኡ አንድ ፋይል ብቻ ስለሚያነብ ይህን ማየት አይችልም። ሙሉው ፍተሻ ገጽዎን በእያንዳንዱ ክሮውለር user agent ከተራ አሳሽ ጎን ለጎን ያመጣል፣ የትኛው ክሮውለር የተለየ መልስ እንደሚያገኝም ከHTTP status እና ከፋየርዎሉ ፊርማ ጋር ያሳያል።

ተደጋግመው የሚጠየቁ ጥያቄዎች

ይህ ከGoogle robots.txt Tester ጋር አንድ ነው?

አይደለም። Google ለብቻው የሚሠራውን robots.txt Tester በ2023 አቁሟል፤ በSearch Console ያለው የrobots.txt ሪፖርት አሁን Google ያመጣውን ፋይል እና የparsing ስህተቶችን ያሳያል፣ ለGoogle ክሮውለሮች ብቻ። ይህ tester ተመሳሳዮቹን የRFC 9309 ደንቦች በአንድ ጊዜ ለ16 የAI እና የፍለጋ ክሮውለሮች ይተገብራል።

«ተፈቅዷል» ማለት ክሮውለሩ ገጼን ያነባል ወይም ይጠቅሳል ማለት ነው?

አይደለም። robots.txt አይከለክለውም ማለት ነው። ክሮውለሩ ገጹን ያገኝ እንደሆነ በሰርቨርዎ እና በፋየርዎልዎ ይወሰናል፣ ረዳቱ ይጠቅሰው እንደሆነ ደግሞ በይዘትዎ እና በተጠየቀው ጥያቄ ይወሰናል።

ለምን ክሮውለሩ «ደንብ የለም» ያሳያል?

ፋይልዎ ለtokenኡ ቡድን የለውም፣ የUser-agent: * ቡድንም የለውም፣ ስለዚህ ምንም አይመለከተውም፣ ሁሉም paths ተፈቅደዋል።

ገና ያልታተመ robots.txt መሞከር እችላለሁ?

አዎ። ጽሑፉን በሁለተኛው መስክ ይለጥፉ፣ የሚሞከረውን path ያስገቡ። ከድረ-ገጽዎ ምንም አይመጣም፣ የተለጠፈው ጽሑፍም አይቀመጥም።

testerኡ እንደ GPTBot ወይም እንደ ሌሎቹ ክሮውለሮች ጥያቄዎችን ይልካል?

አይልክም። robots.txtዎን ብቻ ያነባል፣ ደንቦቹንም ይተገብራል። እያንዳንዱ ክሮውለር ከሰርቨርዎ በእውነት የሚቀበለውን ለማየት ሙሉውን ፍተሻ ያስኪዱ።

ምን ያህል ጊዜ ልጠቀምበት እችላለሁ?

ነጻ ነው፣ መለያም አያስፈልገውም። ለሁሉም ተደራሽ ሆኖ እንዲቆይ እያንዳንዱ አውታረ መረብ በሰዓት የተወሰነ ቁጥር ያላቸውን ሙከራዎች ማስኬድ ይችላል።

ተዛማጅ መሣሪያዎች እና መመሪያዎች