robots.txt GPTBotን ይፈቅዳል፣ ነገር ግን አገልጋዩ ያግደዋል

አጭር መልስ

robots.txtዎ ይህ ክሮውለር ገጹን እንዲያመጣ ይፈቅዳል፣ ነገር ግን በuser agentው የተላከ ጥያቄ በአገልጋዩ፣ በCDN ወይም በፋየርዎል ታግዷል። የተገለጸው ፖሊሲ እና እውነተኛው ባህሪ አይስማሙም። የፋየርዎል ደንቡን ከrobots.txt ጋር እንዲስማማ ይቀይሩ፣ ወይም ክሮውለሩን ለማገድ አስበው ከነበረ በrobots.txt ውስጥ ይከልክሉት።

robots.access_conflict · ቅድሚያ: P1–P3፣ በክሮውለር ዓይነት

ምን ማለት ነው

ደንቦችዎ GPTBotን ያስገባሉ፣ ሆኖም በuser agentው የተላከው ጥያቄ ታግዷል። ፋየርዎሉ ወይም CDNው ያስቀመጡትን ፖሊሲ ይሽራል።

ለAI ፍለጋ ለምን አስፈላጊ ነው

ክሮውለሮች robots.txtን እንደ ፖሊሲዎ ይቆጥሩታል። እሱ አዎ ብሎ አገልጋዩ 403 ሲል ክሮውለሩ ጥያቄዎችን ያባክናል፣ በኋላ እንደገና ሊሞክር ይችላል፣ ገጹም አሁንም ወደ የመልስ ሞተሩ index አይገባም። ቡድኖች ብዙ ጊዜ robots.txt ስለሚፈቅድ የAI ፍለጋን እንደሚፈቅዱ ያምናሉ፣ የቦት ደንብ ግን በዝምታ ያግደዋል።

ሙከራው የሚካሄደው ካልተረጋገጠ የIP አድራሻ ነው። ስለዚህ ክሮውለሩን ከታተሙት የIP ክልሎቹ ብቻ የሚያሳልፍ ደንብ፣ ይህም ምክንያታዊ አደረጃጀት ነው፣ እውነተኛው ክሮውለር ቢገባም እዚህ ሊታይ ይችላል። ማንኛውንም ነገር ከመቀየርዎ በፊት የትኛው ደንብ እንደተቀሰቀሰ ያረጋግጡ።

እንዴት እንደሚስተካከል

  1. በግኝቱ ውስጥ የrobots.txt ቡድኑን እና የታገደውን ጥያቄ ሁኔታ ያነጻጽሩ። የAISeeWhy ሪፖርቱ ማስረጃውን እና ለመለጠፍ ዝግጁ ማስተካከያ ያሳያል፤ ከዚያ ውጤቱን ለማረጋገጥ "እንደገና ይፈትሹ"ን ያካሂዱ።
  2. ጥያቄውን ያገደውን ደንብ ያግኙ፦ በCloudflare ላይ Security → Events እና የAI Crawl Control እና Bot Fight Mode ቅንብሮችን ይመልከቱ፤ በሌሎች CDNs ላይ የbot management logን ይመልከቱ።
  3. ክሮውለሩ እንዲገባ ከፈለጉ exception ይጨምሩለት፤ እንዲወጣ ከፈለጉ ፖሊሲዎ በአንድ ቦታ እንዲገለጽ ለtokenኑ የDisallow ቡድን ይጨምሩ።

ማስተካከያውን እንዴት ማረጋገጥ እንደሚቻል

ከለውጡ በኋላ በሪፖርቱ ላይ “እንደገና ይፈትሹ”ን ይጫኑ፦ ምን እንደተስተካከለ እና ውጤቱ እንዴት እንደተቀየረ ይዘረዝራል።

ገጽዎን ይፈትሹ →

ተዛማጅ መመሪያዎች

ሁሉም ግኝቶች እና ውጤቱ እንዴት እንደሚሠራ