robots.txt OAI-SearchBotን ይከለክላል

አጭር መልስ

robots.txtዎ ለዚህ ክሮውለር token ከዚህ ገጽ ጋር የሚዛመድ Disallow ደንብ አለው። ኦዲቱ RFC 9309ን ይተገብራል፦ ክሮውለሩ የራሱ ቡድን ካለው ያንን፣ ከሌለው የ* ቡድንን፣ እና ረጅሙ የሚዛመድ ደንብ ያሸንፋል። ክሮውለሩ እንዲገባ ከፈለጉ ለእሱ Allow ይጨምሩ ወይም ደንቡን ያስወግዱ።

robots.disallowed · ቅድሚያ: P1–P3፣ በክሮውለር ዓይነት

ምን ማለት ነው

የrobots.txt ደንቦችዎ OAI-SearchBot /ን እንዳያመጣ ያቆሙታል።

ለAI ፍለጋ ለምን አስፈላጊ ነው

ሥርዓት ያላቸው የAI ክሮውለሮች robots.txtን ያከብራሉ። OAI-SearchBot፣ Claude-SearchBot ወይም PerplexityBot ከተከለከሉ ገጹ ለፍለጋ indexቸው አይመጣም፣ ስለዚህ በመልሶቻቸው ውስጥ ሊጠቀስ አይችልም። እንደ GPTBot፣ ClaudeBot፣ Google-Extended ወይም Applebot-Extended ያሉ የስልጠና tokens መከልከል የሚያቆመው ለሞዴል ስልጠና መጠቀምን ብቻ ነው።

ብዙ ድረ-ገጾች የAI ክሮውለሮችን በስህተት ያግዳሉ፦ ከGooglebot በስተቀር ሁሉንም የሚከለክል template፣ ወይም ከstaging የተረፈ Disallow: / ያለው User-agent: * ቡድን። Applebot የራሱ ቡድን ከሌለው የGooglebot ቡድንን እንደሚጠቀም ልብ ይበሉ።

እንዴት እንደሚስተካከል

  1. ደንቡን በግኝቱ ውስጥ ያግኙ፦ የክሮውለሩን token እና pathውን ይሰይማል። የAISeeWhy ሪፖርቱ ማስረጃውን እና ለመለጠፍ ዝግጁ ማስተካከያ ያሳያል፤ ከዚያ ውጤቱን ለማረጋገጥ "እንደገና ይፈትሹ"ን ያካሂዱ።
  2. የክሮውለሩን token ገጹን ከሚከለክል ማንኛውም ቡድን ያስወግዱ፣ ከዚያ Allow: / ያለው የራሱን ቡድን ይጨምሩ። የተለየ ቡድን ለዚያ ክሮውለር የ* ቡድንን ይተካል፣ ስለዚህ በ* ስር ያሉ ደንቦች ከእንግዲህ አይመለከቱትም።
  3. በWordPress ላይ robots.txt በweb root ውስጥ ያለ እውነተኛ ፋይል መሆኑን ወይም እንደ Yoast ወይም Rank Math ባለ የSEO plugin የሚፈጠር መሆኑን ያረጋግጡ፣ እዚያም ያርትዑት። በShopify ላይ የrobots.txt.liquid theme templateን ያርትዑ።
  4. በCloudflare ላይ managed robots.txt ቅንብር በራስዎ ፋይል ላይ የAI ክሮውለር ደንቦችን የሚጨምር መሆኑን ያረጋግጡ።
  5. ፖሊሲዎ ይህ ከሆነ የስልጠና tokensን እንደተከለከሉ ይተዉ፤ የተለየ tokens የሚጠቀሙ የፍለጋ ክሮውለሮችን አይነካም።

ምሳሌ

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

ማስተካከያውን እንዴት ማረጋገጥ እንደሚቻል

ከለውጡ በኋላ በሪፖርቱ ላይ “እንደገና ይፈትሹ”ን ይጫኑ፦ ምን እንደተስተካከለ እና ውጤቱ እንዴት እንደተቀየረ ይዘረዝራል።

ገጽዎን ይፈትሹ →

ተዛማጅ መመሪያዎች

ሁሉም ግኝቶች እና ውጤቱ እንዴት እንደሚሠራ