ድረ-ገጼ ለምን በድንገት የAI ክሮውለሮችን ማገድ ጀመረ?
የAI ክሮውለሮችን ማገድ የጀመረ ድረ-ገጽ ሁልጊዜ ማለት ይቻላል ከአምስት ቦታዎች በአንዱ ተለውጧል፦ በእውነት የሚላከው robots.txt፣ እንደ Cloudflare የAI ክሮውለር ፖሊሲዎች ያለ የCDN ቅንብር፣ የቦት ጥበቃ ወይም rate limit፣ የhosting ነባሪ ቅንብር፣ ወይም አሁን በስህተት የሚመልስ robots.txt። የዛሬውን robots.txt እና አንድ ገጽን እንደ እያንዳንዱ ክሮውለር ያምጡ፣ ከአሳሽ እና ቀድሞ ከነበረዎት ጋር ያነጻጽሩ፣ እነዚያንም ንብርብሮች በዚያ ቅደም ተከተል ይፈትሹ።
ማንም ከAI መልሶች ለመጥፋት አይወስንም። ይህ የሚሆነው እንደ theme ዝማኔ፣ የደህንነት ቅንብር፣ ፍልሰት ወይም በአቅራቢ ዘንድ የተቀየረ ነባሪ ቅንብር የጎን ውጤት ሆኖ ነው። አሳሽ አሁንም ድረ-ገጹን በመደበኛ ሁኔታ ያያል፣ ስለዚህ አንድ ሰው ስለ ምርቱ ChatGPTን ወይም Perplexityን ጠይቆ ተፎካካሪ እስኪያገኝ ድረስ ለውጡ ሳይስተዋል ሊቆይ ይችላል። እያንዳንዱ ንብርብር ከውጭ ወይም በlogsዎ ውስጥ ሊፈትሹት የሚችሉትን ዱካ ይተዋል።
በዚህ ገጽ ላይ
ክሮውለሮች የሚቀበሉት robots.txt ተቀይሯል?
https://yourdomain.com/robots.txtን ያምጡ፣ በrepositoryዎ ወይም በbackupዎ ውስጥ ካለው ፋይል ጋር ያነጻጽሩት። በዲስክ ላይ ያለውን ሳይሆን የሚላከውን ፋይል ይመልከቱ፣ ምክንያቱም በርካታ ንብርብሮች በመንገድ ላይ ሊቀይሩት ይችላሉ፦
- deploy የstaging robots.txtን ከ
Disallow: /ጋር ይልካል፣ ወይም ፍልሰት የplatform ነባሪ ፋይልን በቦታው ይተዋል። - የsite builder ቅንብር የAI ክሮውለር ደንቦችን ይጨምራል። ለምሳሌ Squarespace የBlock known artificial intelligence crawlers አማራጭ አለው፣ ይህም 26 የቦት ስሞችን ወደ robots.txt ይጽፋል፣ ከጊዜ በኋላም ተጨማሪ ሊጨመሩ እንደሚችሉ ይገልጻል። በነባሪነት ጠፍቷል፣ ስለዚህ አንድ ሰው ማብራት አለበት፣ ግን ዝርዝሩ ከዚያ በኋላ ሊያድግ ይችላል።
- የSEO ወይም የደህንነት plugin ዝማኔ አዳዲስ ደንቦችን ይጽፋል፣ ወይም አንድ ሰው የሚያበራውን አዲስ አማራጭ ይጨምራል።
- Bot Preference Sync ሲበራ እና የAI ፖሊሲ Block ወይም Disallow ሲሆን Cloudflare የሚያስተዳድረውን robots.txt ከፋይልዎ በፊት ያስቀምጣል። የሚላከው ፋይል ያኔ ለ
ClaudeBot፣GPTBotእና ለሌሎች ስድስት የስልጠና tokens በDisallow: /ይጀምራል፣ የራስዎ ፋይል ባይለወጥም። - ለስልጠና ክሮውለር የታሰበ ደንብ ወደ ሌሎች ተቀድቷል፣ እንደ
OAI-SearchBot፣Claude-SearchBotወይምPerplexityBotያሉ የፍለጋ ክሮውለሮችን ጨምሮ።
የGoogle Search Console የrobots.txt ሪፖርት Google ባለፉት 30 ቀናት ያመጣቸውን ስሪቶች ያሳያል፣ ፋይሉ ወይም የማምጣቱ ውጤት በተለወጠ ቁጥር አዲስ ግቤት አለው። Google ያየውን ብቻ ይሸፍናል፣ ግን ሰርቨርዎ robots.txtን በuser agent ካልለያየ፣ AI ክሮውለሮች ተመሳሳዩን ፋይል አግኝተዋል።
የCloudflare 2026 የAI ክሮውለር ፖሊሲዎች ድረ-ገጼ የሚፈቅደውን ቀይረዋል?
Cloudflare የAI ክሮውለር መቆጣጠሪያዎቹን በርካታ ጊዜ ቀይሯል፣ አንዳንድ ለውጦችም ማንም ሳያስተካክለው አንድ zone የሚያደርገውን ይቀይራሉ። በ1 ሐምሌ 2025 አዳዲስ ዶሜኖችን በምዝገባ ጊዜ AI ክሮውለሮችን መፍቀድ ይፈልጉ እንደሆነ መጠየቅ ጀመረ፣ ማገድ የመነሻ ሁኔታ ነበር። በ1 ሐምሌ 2026 ነጠላውን የBlock AI bots ማብሪያ በተለያዩ Search፣ Agent እና Training ፖሊሲዎች ተካ፣ Freeን ጨምሮ ለሁሉም ዕቅዶች።
አብዛኞቹን ድረ-ገጾች የሚይዘው ዝርዝር ለብዙ ዓላማ የሚያገለግሉ ክሮውለሮች ናቸው። የCloudflare ሰነዶች የTraining ድርጊቶች ለፍለጋም ለስልጠናም በሚያገለግሉ ክሮውለሮች ላይም እንደሚተገበሩ ይገልጻሉ። የሐምሌ 2026 ማስታወቂያው ከ15 መስከረም 2026 ጀምሮ Trainingን ለማገድ ለመረጡ ደንበኞች፣ በአዲሶቹ አማራጮችም ሆነ በቀድሞው Block AI bots ቅንብር፣ እንደ Googlebot፣ Applebot እና BingBot ያሉ ለብዙ ዓላማ የሚያገለግሉ ክሮውለሮች እንደሚታገዱ ገልጿል። ስለዚህ ከአንድ ዓመት በፊት የተዘጋጀ ከስልጠና የመውጣት ቅንብር አሁን የፍለጋ ክሮውለሮችን ሊነካ ይችላል።
ለአዳዲስ ዶሜኖች ያሉት ነባሪዎች በጊዜ ሂደት በተለያየ መንገድ ተገልጸዋል። ያው ማስታወቂያ ከ15 መስከረም 2026 ጀምሮ አዳዲስ ዶሜኖች ማስታወቂያ በሚያሳዩ ገጾች ላይ Training እና Agent እንደሚታገዱ ገልጿል፣ በ2 ኅዳር 2026 የተሻሻለው የፖሊሲ ሰነድ ግን አዳዲስ ዶሜኖች ሦስቱም በAllow እንደሚጀምሩ ይገልጻል። Securityን፣ ከዚያ Settingsን ይክፈቱ፣ በBot traffic ያጣሩ፣ ለራስዎ zone ያሉትን AI Crawler and Agent access policies ያንብቡ። ስለ Cloudflare AI Crawl Control ያለው መመሪያችን እያንዳንዱን ቅንብር ያብራራል።
የቦት ጥበቃ ወይም rate limit ክሮውለሮቹን እየያዘ ነው?
የቦት ጥበቃ እያንዳንዱን ጥያቄ ይገመግማል፣ ክሮውለሮች ደግሞ ብዙ ገጾችን ከdata centers በፍጥነት ያመጣሉ፣ ቦቶች የሚያደርጉትም ይህንኑ ነው። ባለፈው ወር ያለፈ ክሮውለር ኦፕሬተሩ የIP ክልሎችን ወይም የክሮውል ፍጥነትን ከቀየረ በኋላ፣ ወይም የጥበቃ ደንቦቹ ከተዘመኑ በኋላ challenge ገጾችን መቀበል ሊጀምር ይችላል። የCloudflare Bot Fight Mode የተለመደ ምክንያት ነው፣ Cloudflare ደግሞ በWAF custom rules ወይም በPage Rules ሊታለፍ ወይም ሊዘለል እንደማይችል ይገልጻል፣ ስለዚህ እሱ በርቶ እያለ በኋላ የተጨመረ የመፍቀድ ደንብ አይረዳም። ለድንገተኛ ብዛት በ429 የሚመልስ አዲስ rate limit በሥራ በበዛበት ክሮውለር ላይ ተመሳሳይ ውጤት አለው።
ከውጭ ይሞክሩ፦ ገጽን እንደ አሳሽ እና እንደ ሁለት የAI ፍለጋ ክሮውለሮች ይጠይቁ፣ ከዚያ robots.txtን እንደ ክሮውለር ይጠይቁ።
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt ለክሮውለር ብቻ የሚመጣ 403፣ 429 ወይም 503፣ Just a moment... የሚል ርዕስ ያለው ገጽ፣ ወይም ከአሳሹ በጣም ያነሰ body ማለት ክሮውለሩ በተለየ መንገድ እየተያዘ ነው ማለት ነው። ሙከራው የሚመጣው ከአቅራቢው ሳይሆን ከእርስዎ IP ነው፣ ስለዚህ በተረጋገጠ የቦት ሁኔታ ላይ የተመሠረቱ ደንቦች እውነተኛውን ክሮውለር አሁንም በተለየ መንገድ ሊይዙት ይችላሉ። የፋየርዎሉ የክስተቶች log የትኛው ደንብ እንደመለሰ ያሳያል።
የhosting አቅራቢዬ ነባሪ ቅንብሮቹን ቀይሯል?
አንዳንድ hosts የAI ትራፊክን በሰርቨሩ ላይ፣ የራስዎ ደንቦች ከመሥራታቸው በፊት ያጣራሉ። ለምሳሌ SiteGround በነሐሴ 2025 የስልጠና ውሂብ ለመሰብሰብ የተነደፉ AI ክሮውለሮችን በነባሪነት እንደሚያግድ፣ አንድ ሰው ስለ ገጽ የAI ረዳትን ሲጠይቅ የሚጎበኙ ክሮውለሮችን ደግሞ እንደሚፈቅድ ጽፏል። እንደዚህ ያሉ ደንቦች በrobots.txtዎ ውስጥ አይታዩም፣ hostኡ የቦት ዝርዝሮቹን ሲያዘምንም ሊለወጡ ይችላሉ።
እገዳ በአንድ host ላይ ባሉ በርካታ ድረ-ገጾች ላይ በአንድ ጊዜ ከታየ፣ ወይም የመተግበሪያዎ logs ጋር ፈጽሞ በማይደርሱ ምላሾች ውስጥ ከታየ፣ ለአካውንትዎ የትኞቹ የቦት ደንቦች እንደሚተገበሩ እና ማቆየት የሚፈልጓቸውን ክሮውለሮች ነጻ ማድረግ ይችሉ እንደሆነ hostኡን ይጠይቁ።
robots.txt በስህተት እየመለሰ ነው?
የሚወድቅ robots.txt ከማንኛውም የDisallow መስመር የበለጠ ሊያግድ ይችላል። በRFC 9309 መሠረት የ4xx ምላሽ ክሮውለሩ ሁሉንም ነገር ማምጣት ይችላል ማለት ነው፣ የሰርቨር ስህተት (5xx) ወይም ጨርሶ መልስ አለመኖር ግን መላው ድረ-ገጽ እንደተከለከለ መገመት አለበት ማለት ነው። Google እንደዚህ ያሉ ስህተቶች በገጠሙት የመጀመሪያዎቹ 12 ሰዓታት ክሮውሊንግን ያቆማል፣ ከዚያ የመጨረሻውን ጥሩ ቅጂውን እስከ 30 ቀናት ይጠቀማል።
በዚህ መንገድ ነው የጭነት መጨመር፣ /robots.txtን challenge የሚያደርግ የፋየርዎል ደንብ፣ ወይም እሱን የሚያካትት rate limit አንድም ደንብ ሳይለወጥ ጨዋ ክሮውለሮችን ሊዘጋ የሚችለው። ከላይ ባለው ሙከራ ውስጥ ያለው የመጨረሻው ትዕዛዝ 200 እና text/plain መመለስ አለበት። እዚያ ያለ 5xx፣ timeout ወይም challenge ገጽ መጀመሪያ ሊስተካከል የሚገባው ነገር ነው።
መቼ እንደጀመረ እንዴት አውቃለሁ?
ቀን ምስጢርን ወደ diff ይቀይራል። በaccess logsዎ ውስጥ ከAI ክሮውለር user agents የሚመጡ ጥያቄዎችን ያጣሩ፣ የሁኔታ ኮዶቻቸው ከ200 ወደ 403፣ 429 ወይም 503 የተቀየሩበትን ቀን፣ ወይም robots.txtን ካነበቡ በኋላ ገጾችን መጠየቅ ያቆሙበትን ቀን ይፈልጉ፤ የሰርቨር logsን ለAI ክሮውለሮች ስለመፈተሽ ያለው መመሪያችን ትዕዛዞቹን ይዟል። CDNዎ ያገዳቸው ጥያቄዎች ወደ originኑ ፈጽሞ አይደርሱም፣ ስለዚህ CDNኑንም ይፈትሹ። በCloudflare ላይ AI Crawl Control በጊዜ ሂደት የሁኔታ ኮዶችን ስርጭት ያሳያል፣ በክሮውለርም ሊያጣሩት ይችላሉ።
ከዚያ ያንን ቀን ከdeploys፣ ከplugin እና theme ዝማኔዎች፣ ከCDN ቅንብር ለውጦች እና ከአቅራቢዎች ማስታወቂያዎች ጋር ያሰልፉት። እርምጃ ከመውሰድዎ በፊት የምንጭ IPዎቹ የአቅራቢው መሆናቸውን ያረጋግጡ፣ ስሙን የሚጠቀም አስመሳይን ሳይሆን እውነተኛውን ክሮውለር እንዲያዩ።
በሚቀጥለው ጊዜ ቶሎ እንዴት እይዘዋለሁ?
ትራፊክ ሲቀንስ ብቻ ሳይሆን ከእያንዳንዱ deploy፣ የCDN ለውጥ እና የplugin ዝማኔ በኋላ መዳረሻን ይፈትሹ። ነጻው የAISeeWhy ፍተሻ ገጽን ከእውነተኛ አሳሽ ጎን እንደ 16 የAI እና የፍለጋ ክሮውለሮች ያመጣል፣ robots.txtዎን ለእያንዳንዱ ክሮውለር ይተገብራል፣ የፋየርዎል challenge ገጾችንም ይለያል። ነጻው የrobots.txt ፈታሽ ዛሬ በሥራ ላይ ባለው ፋይል መሠረት ገጽ ሊመጣ ይችል እንደሆነ ለእያንዳንዱ ክሮውለር ያሳያል።
ቀጣይ እርምጃዎች
በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች
ተደጋግመው የሚጠየቁ ጥያቄዎች
ChatGPT ድረ-ገጼን ማሳየት ለምን አቆመ?
ብዙ ጊዜ የChatGPT ፍለጋን የሚደግፈው ክሮውለር OAI-SearchBot በrobots.txt ለውጥ፣ በCDN ፖሊሲ ወይም በቦት ጥበቃ ስለታገደ ነው። OpenAI እሱን የሚያግዱ ድረ-ገጾች በChatGPT የፍለጋ መልሶች ውስጥ እንደማይታዩ ይገልጻል። እያንዳንዱን ንብርብር ለዚያ ክሮውለር ይፈትሹ፣ ከrobots.txt ማስተካከያ በኋላም 24 ሰዓት ያህል ይጠብቁ፤ OpenAI ሥርዓቶቹ ለመስተካከል የሚወስዱት ጊዜ ይህ እንደሆነ ይገልጻል።
Cloudflare በድረ-ገጼ ላይ Googlebotን ማገድ ጀምሯል?
ሊሆን ይችላል። Cloudflare ከ15 መስከረም 2026 ጀምሮ Trainingን የሚያግዱ ደንበኞች እንደ Googlebot፣ Applebot እና BingBot ያሉ ለብዙ ዓላማ የሚያገለግሉ ክሮውለሮችንም እንደሚያግዱ ገልጿል። ሰነዶቹ የTraining Disallow አማራጭ የስልጠና ክሮውለሮችን በedge ላይ እንደሚያግድ፣ ለተቀላቀለ አገልግሎት የሚውሉ ክሮውለሮችን ግን እንደሚተው ይገልጻሉ፣ ስለዚህ zoneዎ የትኛውን አማራጭ እንደሚጠቀም ይፈትሹ።
website builder ወይም plugin robots.txtን ለእኔ ሊቀይር ይችላል?
አዎ። Site builders እና የSEO ወይም የደህንነት plugins የAI ክሮውለር ደንቦችን ወደ robots.txt ሊጽፉ ይችላሉ፣ አንዳንዶቹም የቦት ዝርዝሮቻቸውን ከጊዜ በኋላ ያስፋፋሉ። ከእያንዳንዱ ዝማኔ በኋላ በሥራ ላይ ያለውን ፋይል ያምጡ፣ ለሚያስቡላቸው የፍለጋ ክሮውለሮች የሚተገበሩትን ቡድኖች ያንብቡ።
በሥራ ላይ ያለው robots.txtዬ በሰርቨሬ ላይ ካለው ፋይል ለምን ይለያል?
ከሰርቨርዎ ፊት ያለ አንድ ነገር እየቀየረው ነው። ለምሳሌ የCloudflare managed robots.txt የራሱን ደንቦች እና content signals በዚያው ምላሽ ውስጥ ከፋይልዎ በፊት ያስቀምጣል። robots.txtን በጥያቄ ጊዜ የሚያመነጭ CMS ወይም የhost ደረጃ ቅንብርም ሊተካው ወይም ሊያስፋፋው ይችላል።
ካስተካከልኩት በኋላ AI ክሮውለሮች ለመመለስ ምን ያህል ጊዜ ይወስዳሉ?
RFC 9309 ክሮውለሮች የተሸጎጠ robots.txt ከ24 ሰዓት በላይ መጠቀም እንደሌለባቸው ይገልጻል፣ OpenAI 24 ሰዓት ያህል፣ Perplexity ደግሞ እስከ 24 ሰዓት ይላሉ። የፋየርዎል ለውጦች አቅራቢዎ እንደተገበራቸው ወዲያውኑ ይሠራሉ፣ ክሮውለሮች ግን በራሳቸው መርሐ ግብር ይመለሳሉ።
ምንጮች
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers