robots.txt OAI-SearchBotን ይከለክላል
robots.txtዎ ለዚህ ክሮውለር token ከዚህ ገጽ ጋር የሚዛመድ Disallow ደንብ አለው። ኦዲቱ RFC 9309ን ይተገብራል፦ ክሮውለሩ የራሱ ቡድን ካለው ያንን፣ ከሌለው የ* ቡድንን፣ እና ረጅሙ የሚዛመድ ደንብ ያሸንፋል። ክሮውለሩ እንዲገባ ከፈለጉ ለእሱ Allow ይጨምሩ ወይም ደንቡን ያስወግዱ።
ምን ማለት ነው
የrobots.txt ደንቦችዎ OAI-SearchBot /ን እንዳያመጣ ያቆሙታል።
ለAI ፍለጋ ለምን አስፈላጊ ነው
ሥርዓት ያላቸው የAI ክሮውለሮች robots.txtን ያከብራሉ። OAI-SearchBot፣ Claude-SearchBot ወይም PerplexityBot ከተከለከሉ ገጹ ለፍለጋ indexቸው አይመጣም፣ ስለዚህ በመልሶቻቸው ውስጥ ሊጠቀስ አይችልም። እንደ GPTBot፣ ClaudeBot፣ Google-Extended ወይም Applebot-Extended ያሉ የስልጠና tokens መከልከል የሚያቆመው ለሞዴል ስልጠና መጠቀምን ብቻ ነው።
ብዙ ድረ-ገጾች የAI ክሮውለሮችን በስህተት ያግዳሉ፦ ከGooglebot በስተቀር ሁሉንም የሚከለክል template፣ ወይም ከstaging የተረፈ Disallow: / ያለው User-agent: * ቡድን። Applebot የራሱ ቡድን ከሌለው የGooglebot ቡድንን እንደሚጠቀም ልብ ይበሉ።
እንዴት እንደሚስተካከል
- ደንቡን በግኝቱ ውስጥ ያግኙ፦ የክሮውለሩን token እና pathውን ይሰይማል። የAISeeWhy ሪፖርቱ ማስረጃውን እና ለመለጠፍ ዝግጁ ማስተካከያ ያሳያል፤ ከዚያ ውጤቱን ለማረጋገጥ "እንደገና ይፈትሹ"ን ያካሂዱ።
- የክሮውለሩን token ገጹን ከሚከለክል ማንኛውም ቡድን ያስወግዱ፣ ከዚያ
Allow: /ያለው የራሱን ቡድን ይጨምሩ። የተለየ ቡድን ለዚያ ክሮውለር የ*ቡድንን ይተካል፣ ስለዚህ በ*ስር ያሉ ደንቦች ከእንግዲህ አይመለከቱትም። - በWordPress ላይ robots.txt በweb root ውስጥ ያለ እውነተኛ ፋይል መሆኑን ወይም እንደ Yoast ወይም Rank Math ባለ የSEO plugin የሚፈጠር መሆኑን ያረጋግጡ፣ እዚያም ያርትዑት። በShopify ላይ የ
robots.txt.liquidtheme templateን ያርትዑ። - በCloudflare ላይ managed robots.txt ቅንብር በራስዎ ፋይል ላይ የAI ክሮውለር ደንቦችን የሚጨምር መሆኑን ያረጋግጡ።
- ፖሊሲዎ ይህ ከሆነ የስልጠና tokensን እንደተከለከሉ ይተዉ፤ የተለየ tokens የሚጠቀሙ የፍለጋ ክሮውለሮችን አይነካም።
ምሳሌ
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / ማስተካከያውን እንዴት ማረጋገጥ እንደሚቻል
ከለውጡ በኋላ በሪፖርቱ ላይ “እንደገና ይፈትሹ”ን ይጫኑ፦ ምን እንደተስተካከለ እና ውጤቱ እንዴት እንደተቀየረ ይዘረዝራል።