የCloudflare AI Crawl Control ሪፖርትን እንዴት ማንበብ እና የትኞቹ የAI ክሮውለሮች እንደሚገቡ ማየት ይቻላል
በCloudflare dashboardዎ ውስጥ AI Crawl Controlን ይክፈቱ፦ የክሮውለር ዝርዝሩ Cloudflare በዶሜንዎ ላይ ያየውን እያንዳንዱን የAI ክሮውለር፣ ጥያቄዎቹን፣ የrobots.txt ጥሰቶቹን እና actionው Allow ወይም Block መሆኑን ያሳያል። የAI ፍለጋን እየጠበቁ ስልጠናን ለመከልከል፣ እዚያ ወይም በAI Crawler and Agent access policies ሥር የፍለጋ እና የagent ክሮውለሮችን ይፍቀዱ፣ የስልጠና ክሮውለሮችን ደግሞ ያግዱ ወይም Disallow ያድርጉ። ከዚያ ውጤቱን ከውጭ በcurl ያረጋግጡ፣ ምክንያቱም ሌሎች የCloudflare ባህሪያት የፈቀዱትን ክሮውለር አሁንም ሊያግዱ ይችላሉ።
Cloudflare አሁን የAI ክሮውለሮች የሚያገኙትን የሚወስኑ ሁለት ቦታዎች አሉት፦ ቀደም ሲል AI Audit ይባል የነበረው፣ ለእያንዳንዱ ክሮውለር ሪፖርት እና መቆጣጠሪያ የሆነው AI Crawl Control፣ እና በSecurity settings ሥር ያሉት በzone ደረጃ የሚሠሩት AI Crawler and Agent access policies። ሁለቱም በFree ዕቅድ ላይ ይገኛሉ፣ ሁለቱም በ2026 ተለውጠዋል፣ አንዳቸውም ደግሞ ለክሮውለር አሁንም በ403 ሊመልሱ ስለሚችሉ ሌሎች ባህሪያት ሁሉ አይነግሩዎትም። ይህ መመሪያ ሪፖርቱን ዓምድ በዓምድ ያስቃኛል፣ allow እና block የት እንደሚያደርጉ ያሳያል፣ በራስዎ ኮምፒውተር ሊያስኬዱት በሚችሉት ፈተናም ይጠናቀቃል።
በዚህ ገጽ ላይ
- በCloudflare ውስጥ የAI ክሮውለር ሪፖርቱ የት ነው?
- በAI Crawl Control ሪፖርት ውስጥ እያንዳንዱ ዓምድ እና መለኪያ ምን ማለት ነው?
- በCloudflare የAI ፍለጋ ክሮውለሮችን እየፈቀድኩ የስልጠና ክሮውለሮችን እንዴት አግዳለሁ?
- በCloudflare የAI ክሮውለር ነባሪ ቅንብሮች ላይ ምን ተለወጠ?
- ከፈቀድኳቸው በኋላም Cloudflare የAI ክሮውለሮችን ለምን ያግዳል?
- Cloudflare የትኞቹን የAI ክሮውለሮች እንደሚያስገባ ከውጭ እንዴት አረጋግጣለሁ?
- AISeeWhy Cloudflare ለAI ክሮውለሮች የሚልከውን እንዴት ይፈትሻል?
በCloudflare ውስጥ የAI ክሮውለር ሪፖርቱ የት ነው?
በdashboardው ውስጥ መለያዎን እና ዶሜንዎን ይምረጡ፣ ከዚያ AI Crawl Controlን ይክፈቱ። Cloudflare ያለ ምንም ውቅር እንደሚሠራ እና የዶሜንዎ ትራፊክ በCloudflare proxy እስከተደረገ ድረስ በሁሉም ዕቅዶች ላይ እንደሚገኝ ይናገራል። አራት ክፍሎች አሉት፦
- Overview፦ አጠቃላይ ጥያቄዎችን፣ የመጠን ለውጥን፣ በጣም የተለመደውን status code፣ በጣም ታዋቂውን path እና ከፍተኛ መጠን ያላቸውን ክሮውለሮች የያዘ ማጠቃለያ፣ የCloudflare managed robots.txt መብራቱን፣ እንዲሁም እንደ OpenAI፣ Microsoft፣ Google፣ ByteDance፣ Anthropic እና Meta ባሉ ኦፕሬተሮች የተመደቡ ክሮውለሮች።
- የክሮውለር ዝርዝሩ፦ ለእያንዳንዱ የAI ክሮውለር አንድ ረድፍ፣ Allow ወይም Block የሚመርጡበት የAction ዓምድ ያለው። የCloudflare ሰነዶች ይህን tab በአንድ ገጽ Crawlers፣ በሌላ ገጽ ደግሞ Security ብለው ይጠሩታል፣ ስለዚህ የAction ዓምድ ያለውን ሰንጠረዥ ይፈልጉ።
- Metrics፦ በጊዜ ሂደት ያሉ ጥያቄዎች፣ የstatus code ስርጭት፣ የይዘት ቅርጸት፣ በጣም ታዋቂ paths እና በሚከፈልባቸው ዕቅዶች referrals። ማጣሪያዎቹ የቀን ክልልን፣ ክሮውለርን፣ ኦፕሬተርን፣ hostnameን እና pathን ይሸፍናሉ፣ CSVም ማውጣት ይችላሉ።
- Directives፦ የrobots.txt ፋይልዎ ጤንነት እና የrobots.txt ጥሰቶች ዝርዝር።
ቁጥሮቹን ሲያነቡ ሁለት የዕቅድ ገደቦች አስፈላጊ ናቸው። በFree ዕቅድ ላይ AI Crawl Control ክሮውለሮችን የሚለየው በuser agent string ብቻ ነው፣ ስለዚህ ራሳቸውን የሚያሳውቁ ክሮውለሮችን ብቻ ያያል፣ የMetrics tab ደግሞ ያለፉትን 24 ሰዓታት ይሸፍናል። የሚከፈልባቸው ዕቅዶች በBot Management detection ID መለየትን ይጨምራሉ፣ Enterprise ከBot Management ጋር ደግሞ ሊቀየሩ የሚችሉ የጊዜ ገደቦችን ያገኛል።
በAI Crawl Control ሪፖርት ውስጥ እያንዳንዱ ዓምድ እና መለኪያ ምን ማለት ነው?
Cloudflare መስኮቹን እንደሚከተለው ይገልጻል። ትርጓሜዎቹ አስፈላጊ ናቸው፣ ምክንያቱም በርካታ ቁጥሮች ከሚጠብቁት በላይ ይቆጥራሉ።
- Crawler እና Category፦ የክሮውለሩ ስም፣ ኦፕሬተሩ እና ምድቡ፣ ለምሳሌ AI crawler፣ AI assistant ወይም archiver።
- Requests፦ የተፈቀዱ እና ያልተሳኩ ጥያቄዎች ድምር፣ ከአዝማሚያ ገበታ ጋር። ያልተሳኩ ጥያቄዎች ከAI Crawl Control እገዳ ብቻ ሳይሆን ከማንኛውም ደንብ ወይም የምላሽ ስህተት ሊመጡ ይችላሉ፣ ስለዚህ ለፈቀዱት ክሮውለር ከፍተኛ ቁጥር ሌላ ደንብን ወይም በorigin ሰርቨርዎ ላይ ያሉ ስህተቶችን ያመለክታል።
- Allowed requests፦ ከ200 እስከ 299 ያለ status የተቀበሉ ጥያቄዎች። የውሂብ ዝውውር የሚለካው Cloudflare ለተፈቀዱ ጥያቄዎች በላከው ባይት ነው።
- Robots.txt violations፦ ክሮውለሩ robots.txtዎ የሚከለክለውን path ስንት ጊዜ እንደጠየቀ። Cloudflare ያለፉ ጥያቄዎችን ከአሁኑ ደንቦችዎ ጋር ያነጻጽራል፣ ስለዚህ ዛሬ የሚጨምሩት ደንብ በተደረጉበት ጊዜ የተፈቀዱ ጥያቄዎችን ምልክት ሊያደርግ ይችላል።
- Action፦ Allow፣ Block፣ ወይም በpay per crawl beta ውስጥ ላሉ መለያዎች Charge።
- የstatus code ስርጭት፦ 2xx፣ 3xx፣ 4xx እና 5xx። የ4xx ቡድን ከእገዳዎች የሚመጣ 403ን እና ከpay per crawl የሚመጣ 402ን ያካትታል።
- Referrals እና top referrers፣ በሚከፈልባቸው ዕቅዶች ብቻ፦ ከAI አገልግሎቶች፣ ለምሳሌ ከchatgpt.com፣ የመጡ ጉብኝቶች እና ያረፉባቸው ገጾች።
ሪፖርቱን ከመረጡት action አንጻር ያንብቡ። ወደ Allow የተቀናበረ ክሮውለር በአብዛኛው የተፈቀዱ ጥያቄዎችን እና 2xx ኮዶችን ማሳየት አለበት። ብዙ ያልተሳኩ ጥያቄዎችን ካሳየ፣ ለዚያ ክሮውለር የተጣራውን የstatus code ስርጭት ይክፈቱ፣ የመለሰውን ደንብ ለማግኘትም Security Analyticsን ይመልከቱ።
በCloudflare የAI ፍለጋ ክሮውለሮችን እየፈቀድኩ የስልጠና ክሮውለሮችን እንዴት አግዳለሁ?
በእያንዳንዱ ክሮውለር ወይም በባህሪ ማድረግ ይችላሉ። በእያንዳንዱ ክሮውለር ለማድረግ AI Crawl Controlን ይክፈቱ፣ ለእያንዳንዱ ረድፍ Actionን ያቀናብሩ። Cloudflare እዚያ ማገድ በzoneዎ ላይ WAF custom rule እንደሚፈጥር ወይም እንደሚያዘምን ይናገራል፤ ይህን ደንብ ለpath ልዩነቶች በWAF ውስጥ ማስፋት ይችላሉ። በሚከፈልባቸው ዕቅዶች የታገዱ ክሮውለሮች 403 ወይም 402 እንዲያገኙ መምረጥ እና ግልጽ የጽሑፍ ምላሽ ማቀናበር ይችላሉ።
በባህሪ ለማድረግ ወደ Security፣ ከዚያ ወደ Settings ይሂዱ፣ በBot traffic ያጣሩ፣ AI Crawler and Agent access policiesን ይክፈቱ። Cloudflare የAI ትራፊክን በሦስት ባህሪያት ይከፍላል፣ እያንዳንዱ policy ያ ባህሪ ባላቸው verified bots እና በሚዛመዱ unverified bots ላይ ይተገበራል፦
- Search፦ በኋላ ጥያቄዎችን መመለስ እንዲቻል ይዘትን መሰብሰብ ወይም index ማድረግ።
- Agent፦ ለአንድ ሰው በቅጽበት መሥራት፣ ለምሳሌ የchat ማምጣቶች እና የአሳሽ agents።
- Training፦ ሞዴሎችን ለማሰልጠን ወይም fine-tune ለማድረግ ይዘትን መሰብሰብ፣ ለስልጠናም ለፍለጋም የሚውሉ ክሮውለሮችን ጨምሮ።
እያንዳንዱ ባህሪ ወደ Block፣ Block on pages with ads ወይም Allow (do not block) ሊቀናበር ይችላል። Training ተጨማሪ Disallow አማራጭ አለው፣ ይህም ክሮውለሮችን በrobots.txt በኩል ብቻ ይጠይቃል። Bot Preference Sync ሲበራ Cloudflare Amazonbot፣ Applebot-Extended፣ Bytespider፣ CCBot፣ ClaudeBot፣ Google-Extended፣ GPTBot እና meta-externalagentን የሚከለክሉ managed rules በrobots.txtዎ መጀመሪያ ላይ ያክላል፣ የContent Signals መስመር ይጨምራል፣ ለፍለጋም ለስልጠናም ከሚውሉ ክሮውለሮች በስተቀር የAI ስልጠና ክሮውለሮችን በedge ላይም ያግዳል።
የAI ጥቅሶችን ለሚፈልጉ ለአብዛኞቹ ድረ-ገጾች ደህንነቱ የተጠበቀው ጥምረት Search እና Agent በAllow፣ Training በDisallow ላይ ነው፤ ከዚያ በedge ላይ ማስቆም ለሚፈልጓቸው ለስልጠና ብቻ ለሚውሉ ክሮውለሮች በAI Crawl Control ውስጥ የተናጠል Block actions ያድርጉ።
በCloudflare የAI ክሮውለር ነባሪ ቅንብሮች ላይ ምን ተለወጠ?
በጁላይ 1፣ 2025 Cloudflare የAI ክሮውለሮች ለፈጣሪዎች ካልከፈሉ በስተቀር በነባሪነት እንዲታገዱ እየቀየረ መሆኑን አስታወቀ። በጁላይ 1፣ 2026 ነጠላውን Block AI bots መቀየሪያ ከላይ በተገለጹት የተለያዩ Search፣ Agent እና Training policies ተካ፣ Freeን ጨምሮ ለሁሉም ዕቅዶች። ያው ማስታወቂያ ከሴፕቴምበር 15፣ 2026 ጀምሮ የሚገቡ አዳዲስ ዶሜኖች ማስታወቂያ በሚያሳዩ ገጾች ላይ Training እና Agent ታግደው Search ደግሞ ተፈቅዶ እንደሚኖራቸው ገልጿል።
ለመጨረሻ ጊዜ በኖቬምበር 2፣ 2026 የተዘመነው የCloudflare የአሁኑ የpolicy ሰነድ አዳዲስ ዶሜኖች ለሦስቱም ባህሪያት በነባሪነት Allow (do not block) እንደሆኑ ይናገራል። የCloudflare የራሱ ገጾች በተለያዩ ጊዜያት የተለያዩ ነባሪዎችን ስለገለጹ፣ ለzoneዎ በአንዳቸውም ላይ አይተማመኑ፦ የpolicy ገጹን ከፍተው የተቀናበረውን ያንብቡ።
ከፈቀድኳቸው በኋላም Cloudflare የAI ክሮውለሮችን ለምን ያግዳል?
በAI Crawl Control ውስጥ ያለው Allow action AI Crawl Control ራሱ እንዳያግድ ብቻ ያደርጋል። ሌሎች ባህሪያት አሁንም በጥያቄው ላይ ይሠራሉ። የተለመዱ ምክንያቶች፦
- Trainingን ማገድ ሁለቱንም የሚሠሩ የፍለጋ ክሮውለሮችንም ያግዳል። የCloudflare ሰነዶች የTraining actions ድብልቅ ዓላማ ባላቸው ክሮውለሮች ላይ እንደሚተገበሩ ይናገራሉ፣ የጁላይ 2026 ማስታወቂያው ደግሞ Trainingን የሚያግዱ ደንበኞች ከሴፕቴምበር 15፣ 2026 ጀምሮ የሚያግዷቸውን ክሮውለሮች Googlebot፣ Applebot እና bingbot ብሎ ይጠቅሳቸዋል። Disallow ጠባቡ ምርጫ ነው፣ ምክንያቱም የedge እገዳው ድብልቅ ዓላማ ያላቸውን ክሮውለሮች ይዘላል።
- Bot Fight Mode በርቷል። Cloudflare Bot Fight Modeን በWAF custom rules ወይም በPage Rules ማለፍ ወይም መዝለል እንደማይቻል ይገልጻል። ክሮውለርን challenge ካደረገ ያጥፉት፣ ወይም ዕቅድዎ ካለው skip rules የሚደግፈውን Super Bot Fight Modeን ይጠቀሙ።
- የቆየ WAF custom rule
botየያዙ user agents ያግዳል፣ ወይም የrate limiting ደንብ ለድንገተኛ ብዛት በ429 ይመልሳል። እነዚህ በAI Crawl Control ውስጥ ያለው Action ምንም ይሁን ይሠራሉ። - የማገጃ ደንቡ በእጅ ተስተካክሏል። ከAI Crawl Control በስተጀርባ ያለው WAF ደንብ ወደ ሌላ የምላሽ ኮድ ከተቀየረ dashboardው ምርጫዎን ማስፈጸም አይችልም።
- robots.txt አሁንም ክሮውለሩን ይከለክላል። የCloudflare Allow robots.txtዎን አይለውጥም፣ ስለዚህ ጨዋ ክሮውለር ለማንኛውም ይርቃል። በ1,000 በጣም ታዋቂ ዶሜኖች ላይ ባደረግነው ጥናት የAI ስልጠና ክሮውለርን በrobots.txt ካገዱት 155 ድረ-ገጾች ውስጥ 98ቱ ቢያንስ አንድ የAI ፍለጋ ወይም የተጠቃሚ ክሮውለርንም አግደዋል።
Cloudflare የትኞቹን የAI ክሮውለሮች እንደሚያስገባ ከውጭ እንዴት አረጋግጣለሁ?
ተመሳሳዩን ገጽ በአሳሽ user agent እና በእያንዳንዱ ክሮውለር user agent ይጠይቁ፣ ከዚያ statusን እና መጠንን ያነጻጽሩ። ከታች ያሉት የOpenAI፣ Perplexity እና Google strings እነዚያ ኩባንያዎች የሚያትሟቸው ናቸው።
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 403፣ 429 ወይም 503 ያለው፣ ወይም ከአሳሹ መስመር በጣም ያነሰ መጠን ያለው የክሮውለር መስመር ከorigin ሰርቨርዎ ፊት ያለ ነገር በተለየ መንገድ መልሷል ማለት ነው። በFree ዕቅድ ላይ AI Crawl Control ክሮውለሮችን በuser agent ስለሚለይ ይህ ፈተና እገዳዎቹን ለመፈተሽ ተገቢ ነው። በverified bot ሁኔታ ወይም በbot scores ላይ የተመሠረቱ ደንቦች ጥያቄዎን ከእውነተኛው ክሮውለር በተለየ ሊመለከቱት ይችላሉ፣ ምክንያቱም ከኦፕሬተሩ የታተሙ ክልሎች ሳይሆን ከራስዎ IP አድራሻ ስለሚመጣ። ከፈተኑ በኋላ የትኛው ደንብ እንደተዛመደ ለማየት በSecurity Analytics ውስጥ የራስዎን ጥያቄዎች ይፈልጉ።
AISeeWhy Cloudflare ለAI ክሮውለሮች የሚልከውን እንዴት ይፈትሻል?
ነጻው የAISeeWhy ፍተሻ ገጽዎን ከእውነተኛ አሳሽ ጎን እንደ 16 የAI እና የፍለጋ ክሮውለሮች ይጠይቃል፣ robots.txtዎን ለእያንዳንዱ ክሮውለር ይተገብራል፣ የፋየርዎል challenge ገጾችንም ይለያል፤ ስለዚህ በCloudflare dashboard ውስጥ ያለው ውጤት ክሮውለሮች በእውነት ከሚያገኙት ጋር ይዛመድ እንደሆነ ማየት ይችላሉ።
ለዚህ ችግር ማስተካከያዎች
ቀጣይ እርምጃዎች
በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች
ተደጋግመው የሚጠየቁ ጥያቄዎች
Cloudflare AI Crawl Control ነጻ ነው?
አዎ። Cloudflare AI Crawl Controlን በሁሉም ዕቅዶች ላይ እንደሚገኝ ይዘረዝራል። የFree ዕቅዱ ክሮውለሮችን በuser agent ብቻ ይለያል፣ በMetrics ውስጥ ያለፉትን 24 ሰዓታት ያሳያል፤ የreferral ውሂብ እና ብጁ የእገዳ ምላሾች የሚከፈልበት ዕቅድ ይፈልጋሉ።
Cloudflare AI Audit ምን ሆነ?
ስሙ ተቀይሯል። የCloudflare ሰነዶች AI Crawl Controlን ቀደም ሲል AI Audit ይባል የነበረ ብለው ይገልጹታል፣ ዓላማውም ያው ነው፦ የትኞቹ የAI ክሮውለሮች እንደሚጎበኙ ማየት እና ለእያንዳንዱ action ማቀናበር።
በAI Crawl Control ውስጥ ክሮውለርን ማገድ robots.txtዬን ይለውጣል?
አይለውጥም። Block action WAF custom rule ይፈጥራል ወይም ያዘምናል። robots.txt የሚለወጠው ለTraining የDisallow አማራጭን ከBot Preference Sync ጋር ከተጠቀሙ ብቻ ነው፤ ይህም የCloudflare managed rulesን በፋይልዎ መጀመሪያ ላይ ያክላል።
በCloudflare ውስጥ የrobots.txt ጥሰት ተብሎ የሚቆጠረው ምንድን ነው?
robots.txtዎ ወደሚከለክለው path የAI ክሮውለር የሚያቀርበው ጥያቄ። Cloudflare ያለፉ ጥያቄዎችን ከአሁኑ ደንቦችዎ ጋር ያነጻጽራል፣ ስለዚህ አዲስ ደንብ በዚያን ጊዜ የተፈቀዱ የቆዩ ጥያቄዎችን ምልክት ሊያደርግ ይችላል።
pay per crawl ምንድን ነው?
የAI ክሮውለሮች ለእያንዳንዱ ጥያቄ እንዲከፍሉ የሚጠይቅ፣ ካልሆነ ደግሞ በHTTP 402 እና በዋጋ የሚመልስ Charge action ነው። Cloudflare እንደ closed beta ይገልጸዋል፣ የWAF ወይም የBot Management እገዳዎችም ከእሱ ቅድሚያ ይወስዳሉ።
ምንጮች
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: የAI ክሮውለር መዳረሻ ሪፖርት፣ 2026-11