የCloudflare AI Crawl Control ሪፖርትን እንዴት ማንበብ እና የትኞቹ የAI ክሮውለሮች እንደሚገቡ ማየት ይቻላል

የታተመበት

አጭር መልስ

በCloudflare dashboardዎ ውስጥ AI Crawl Controlን ይክፈቱ፦ የክሮውለር ዝርዝሩ Cloudflare በዶሜንዎ ላይ ያየውን እያንዳንዱን የAI ክሮውለር፣ ጥያቄዎቹን፣ የrobots.txt ጥሰቶቹን እና actionው Allow ወይም Block መሆኑን ያሳያል። የAI ፍለጋን እየጠበቁ ስልጠናን ለመከልከል፣ እዚያ ወይም በAI Crawler and Agent access policies ሥር የፍለጋ እና የagent ክሮውለሮችን ይፍቀዱ፣ የስልጠና ክሮውለሮችን ደግሞ ያግዱ ወይም Disallow ያድርጉ። ከዚያ ውጤቱን ከውጭ በcurl ያረጋግጡ፣ ምክንያቱም ሌሎች የCloudflare ባህሪያት የፈቀዱትን ክሮውለር አሁንም ሊያግዱ ይችላሉ።

Cloudflare አሁን የAI ክሮውለሮች የሚያገኙትን የሚወስኑ ሁለት ቦታዎች አሉት፦ ቀደም ሲል AI Audit ይባል የነበረው፣ ለእያንዳንዱ ክሮውለር ሪፖርት እና መቆጣጠሪያ የሆነው AI Crawl Control፣ እና በSecurity settings ሥር ያሉት በzone ደረጃ የሚሠሩት AI Crawler and Agent access policies። ሁለቱም በFree ዕቅድ ላይ ይገኛሉ፣ ሁለቱም በ2026 ተለውጠዋል፣ አንዳቸውም ደግሞ ለክሮውለር አሁንም በ403 ሊመልሱ ስለሚችሉ ሌሎች ባህሪያት ሁሉ አይነግሩዎትም። ይህ መመሪያ ሪፖርቱን ዓምድ በዓምድ ያስቃኛል፣ allow እና block የት እንደሚያደርጉ ያሳያል፣ በራስዎ ኮምፒውተር ሊያስኬዱት በሚችሉት ፈተናም ይጠናቀቃል።

በዚህ ገጽ ላይ
  1. በCloudflare ውስጥ የAI ክሮውለር ሪፖርቱ የት ነው?
  2. በAI Crawl Control ሪፖርት ውስጥ እያንዳንዱ ዓምድ እና መለኪያ ምን ማለት ነው?
  3. በCloudflare የAI ፍለጋ ክሮውለሮችን እየፈቀድኩ የስልጠና ክሮውለሮችን እንዴት አግዳለሁ?
  4. በCloudflare የAI ክሮውለር ነባሪ ቅንብሮች ላይ ምን ተለወጠ?
  5. ከፈቀድኳቸው በኋላም Cloudflare የAI ክሮውለሮችን ለምን ያግዳል?
  6. Cloudflare የትኞቹን የAI ክሮውለሮች እንደሚያስገባ ከውጭ እንዴት አረጋግጣለሁ?
  7. AISeeWhy Cloudflare ለAI ክሮውለሮች የሚልከውን እንዴት ይፈትሻል?

በCloudflare ውስጥ የAI ክሮውለር ሪፖርቱ የት ነው?

በdashboardው ውስጥ መለያዎን እና ዶሜንዎን ይምረጡ፣ ከዚያ AI Crawl Controlን ይክፈቱ። Cloudflare ያለ ምንም ውቅር እንደሚሠራ እና የዶሜንዎ ትራፊክ በCloudflare proxy እስከተደረገ ድረስ በሁሉም ዕቅዶች ላይ እንደሚገኝ ይናገራል። አራት ክፍሎች አሉት፦

ቁጥሮቹን ሲያነቡ ሁለት የዕቅድ ገደቦች አስፈላጊ ናቸው። በFree ዕቅድ ላይ AI Crawl Control ክሮውለሮችን የሚለየው በuser agent string ብቻ ነው፣ ስለዚህ ራሳቸውን የሚያሳውቁ ክሮውለሮችን ብቻ ያያል፣ የMetrics tab ደግሞ ያለፉትን 24 ሰዓታት ይሸፍናል። የሚከፈልባቸው ዕቅዶች በBot Management detection ID መለየትን ይጨምራሉ፣ Enterprise ከBot Management ጋር ደግሞ ሊቀየሩ የሚችሉ የጊዜ ገደቦችን ያገኛል።

በAI Crawl Control ሪፖርት ውስጥ እያንዳንዱ ዓምድ እና መለኪያ ምን ማለት ነው?

Cloudflare መስኮቹን እንደሚከተለው ይገልጻል። ትርጓሜዎቹ አስፈላጊ ናቸው፣ ምክንያቱም በርካታ ቁጥሮች ከሚጠብቁት በላይ ይቆጥራሉ።

ሪፖርቱን ከመረጡት action አንጻር ያንብቡ። ወደ Allow የተቀናበረ ክሮውለር በአብዛኛው የተፈቀዱ ጥያቄዎችን እና 2xx ኮዶችን ማሳየት አለበት። ብዙ ያልተሳኩ ጥያቄዎችን ካሳየ፣ ለዚያ ክሮውለር የተጣራውን የstatus code ስርጭት ይክፈቱ፣ የመለሰውን ደንብ ለማግኘትም Security Analyticsን ይመልከቱ።

በCloudflare የAI ፍለጋ ክሮውለሮችን እየፈቀድኩ የስልጠና ክሮውለሮችን እንዴት አግዳለሁ?

በእያንዳንዱ ክሮውለር ወይም በባህሪ ማድረግ ይችላሉ። በእያንዳንዱ ክሮውለር ለማድረግ AI Crawl Controlን ይክፈቱ፣ ለእያንዳንዱ ረድፍ Actionን ያቀናብሩ። Cloudflare እዚያ ማገድ በzoneዎ ላይ WAF custom rule እንደሚፈጥር ወይም እንደሚያዘምን ይናገራል፤ ይህን ደንብ ለpath ልዩነቶች በWAF ውስጥ ማስፋት ይችላሉ። በሚከፈልባቸው ዕቅዶች የታገዱ ክሮውለሮች 403 ወይም 402 እንዲያገኙ መምረጥ እና ግልጽ የጽሑፍ ምላሽ ማቀናበር ይችላሉ።

በባህሪ ለማድረግ ወደ Security፣ ከዚያ ወደ Settings ይሂዱ፣ በBot traffic ያጣሩ፣ AI Crawler and Agent access policiesን ይክፈቱ። Cloudflare የAI ትራፊክን በሦስት ባህሪያት ይከፍላል፣ እያንዳንዱ policy ያ ባህሪ ባላቸው verified bots እና በሚዛመዱ unverified bots ላይ ይተገበራል፦

እያንዳንዱ ባህሪ ወደ Block፣ Block on pages with ads ወይም Allow (do not block) ሊቀናበር ይችላል። Training ተጨማሪ Disallow አማራጭ አለው፣ ይህም ክሮውለሮችን በrobots.txt በኩል ብቻ ይጠይቃል። Bot Preference Sync ሲበራ Cloudflare Amazonbot፣ Applebot-Extended፣ Bytespider፣ CCBot፣ ClaudeBot፣ Google-Extended፣ GPTBot እና meta-externalagentን የሚከለክሉ managed rules በrobots.txtዎ መጀመሪያ ላይ ያክላል፣ የContent Signals መስመር ይጨምራል፣ ለፍለጋም ለስልጠናም ከሚውሉ ክሮውለሮች በስተቀር የAI ስልጠና ክሮውለሮችን በedge ላይም ያግዳል።

የAI ጥቅሶችን ለሚፈልጉ ለአብዛኞቹ ድረ-ገጾች ደህንነቱ የተጠበቀው ጥምረት Search እና Agent በAllow፣ Training በDisallow ላይ ነው፤ ከዚያ በedge ላይ ማስቆም ለሚፈልጓቸው ለስልጠና ብቻ ለሚውሉ ክሮውለሮች በAI Crawl Control ውስጥ የተናጠል Block actions ያድርጉ።

በCloudflare የAI ክሮውለር ነባሪ ቅንብሮች ላይ ምን ተለወጠ?

በጁላይ 1፣ 2025 Cloudflare የAI ክሮውለሮች ለፈጣሪዎች ካልከፈሉ በስተቀር በነባሪነት እንዲታገዱ እየቀየረ መሆኑን አስታወቀ። በጁላይ 1፣ 2026 ነጠላውን Block AI bots መቀየሪያ ከላይ በተገለጹት የተለያዩ Search፣ Agent እና Training policies ተካ፣ Freeን ጨምሮ ለሁሉም ዕቅዶች። ያው ማስታወቂያ ከሴፕቴምበር 15፣ 2026 ጀምሮ የሚገቡ አዳዲስ ዶሜኖች ማስታወቂያ በሚያሳዩ ገጾች ላይ Training እና Agent ታግደው Search ደግሞ ተፈቅዶ እንደሚኖራቸው ገልጿል።

ለመጨረሻ ጊዜ በኖቬምበር 2፣ 2026 የተዘመነው የCloudflare የአሁኑ የpolicy ሰነድ አዳዲስ ዶሜኖች ለሦስቱም ባህሪያት በነባሪነት Allow (do not block) እንደሆኑ ይናገራል። የCloudflare የራሱ ገጾች በተለያዩ ጊዜያት የተለያዩ ነባሪዎችን ስለገለጹ፣ ለzoneዎ በአንዳቸውም ላይ አይተማመኑ፦ የpolicy ገጹን ከፍተው የተቀናበረውን ያንብቡ።

ከፈቀድኳቸው በኋላም Cloudflare የAI ክሮውለሮችን ለምን ያግዳል?

በAI Crawl Control ውስጥ ያለው Allow action AI Crawl Control ራሱ እንዳያግድ ብቻ ያደርጋል። ሌሎች ባህሪያት አሁንም በጥያቄው ላይ ይሠራሉ። የተለመዱ ምክንያቶች፦

Cloudflare የትኞቹን የAI ክሮውለሮች እንደሚያስገባ ከውጭ እንዴት አረጋግጣለሁ?

ተመሳሳዩን ገጽ በአሳሽ user agent እና በእያንዳንዱ ክሮውለር user agent ይጠይቁ፣ ከዚያ statusን እና መጠንን ያነጻጽሩ። ከታች ያሉት የOpenAI፣ Perplexity እና Google strings እነዚያ ኩባንያዎች የሚያትሟቸው ናቸው።

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

403፣ 429 ወይም 503 ያለው፣ ወይም ከአሳሹ መስመር በጣም ያነሰ መጠን ያለው የክሮውለር መስመር ከorigin ሰርቨርዎ ፊት ያለ ነገር በተለየ መንገድ መልሷል ማለት ነው። በFree ዕቅድ ላይ AI Crawl Control ክሮውለሮችን በuser agent ስለሚለይ ይህ ፈተና እገዳዎቹን ለመፈተሽ ተገቢ ነው። በverified bot ሁኔታ ወይም በbot scores ላይ የተመሠረቱ ደንቦች ጥያቄዎን ከእውነተኛው ክሮውለር በተለየ ሊመለከቱት ይችላሉ፣ ምክንያቱም ከኦፕሬተሩ የታተሙ ክልሎች ሳይሆን ከራስዎ IP አድራሻ ስለሚመጣ። ከፈተኑ በኋላ የትኛው ደንብ እንደተዛመደ ለማየት በSecurity Analytics ውስጥ የራስዎን ጥያቄዎች ይፈልጉ።

AISeeWhy Cloudflare ለAI ክሮውለሮች የሚልከውን እንዴት ይፈትሻል?

ነጻው የAISeeWhy ፍተሻ ገጽዎን ከእውነተኛ አሳሽ ጎን እንደ 16 የAI እና የፍለጋ ክሮውለሮች ይጠይቃል፣ robots.txtዎን ለእያንዳንዱ ክሮውለር ይተገብራል፣ የፋየርዎል challenge ገጾችንም ይለያል፤ ስለዚህ በCloudflare dashboard ውስጥ ያለው ውጤት ክሮውለሮች በእውነት ከሚያገኙት ጋር ይዛመድ እንደሆነ ማየት ይችላሉ።

ለዚህ ችግር ማስተካከያዎች

ነጻ መሣሪያዎች

ቀጣይ እርምጃዎች

በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች

ተደጋግመው የሚጠየቁ ጥያቄዎች

Cloudflare AI Crawl Control ነጻ ነው?

አዎ። Cloudflare AI Crawl Controlን በሁሉም ዕቅዶች ላይ እንደሚገኝ ይዘረዝራል። የFree ዕቅዱ ክሮውለሮችን በuser agent ብቻ ይለያል፣ በMetrics ውስጥ ያለፉትን 24 ሰዓታት ያሳያል፤ የreferral ውሂብ እና ብጁ የእገዳ ምላሾች የሚከፈልበት ዕቅድ ይፈልጋሉ።

Cloudflare AI Audit ምን ሆነ?

ስሙ ተቀይሯል። የCloudflare ሰነዶች AI Crawl Controlን ቀደም ሲል AI Audit ይባል የነበረ ብለው ይገልጹታል፣ ዓላማውም ያው ነው፦ የትኞቹ የAI ክሮውለሮች እንደሚጎበኙ ማየት እና ለእያንዳንዱ action ማቀናበር።

በAI Crawl Control ውስጥ ክሮውለርን ማገድ robots.txtዬን ይለውጣል?

አይለውጥም። Block action WAF custom rule ይፈጥራል ወይም ያዘምናል። robots.txt የሚለወጠው ለTraining የDisallow አማራጭን ከBot Preference Sync ጋር ከተጠቀሙ ብቻ ነው፤ ይህም የCloudflare managed rulesን በፋይልዎ መጀመሪያ ላይ ያክላል።

በCloudflare ውስጥ የrobots.txt ጥሰት ተብሎ የሚቆጠረው ምንድን ነው?

robots.txtዎ ወደሚከለክለው path የAI ክሮውለር የሚያቀርበው ጥያቄ። Cloudflare ያለፉ ጥያቄዎችን ከአሁኑ ደንቦችዎ ጋር ያነጻጽራል፣ ስለዚህ አዲስ ደንብ በዚያን ጊዜ የተፈቀዱ የቆዩ ጥያቄዎችን ምልክት ሊያደርግ ይችላል።

pay per crawl ምንድን ነው?

የAI ክሮውለሮች ለእያንዳንዱ ጥያቄ እንዲከፍሉ የሚጠይቅ፣ ካልሆነ ደግሞ በHTTP 402 እና በዋጋ የሚመልስ Charge action ነው። Cloudflare እንደ closed beta ይገልጸዋል፣ የWAF ወይም የBot Management እገዳዎችም ከእሱ ቅድሚያ ይወስዳሉ።

ምንጮች

ተጨማሪ ጽሑፎች