Cloudflare የAI ክሮውለሮችን እያገደ ነው? እንዴት ማወቅ እና ማስተካከል እንደሚቻል

Cloudflare ወይም ሌላ ፋየርዎል ለAI ክሮውለሮች በእገዳ እንደሚመልስ በ30 ሰከንድ ውስጥ ይመልከቱ፣ ትክክለኞቹን የሚያሳልፈውን ደንብም ያግኙ።

ነጻ · ምዝገባ የለም · ውጤት በ30 ሰከንድ

403ዎች፣ 429ዎች እና የchallenge ገጾች

አሳሽዎ እውነተኛውን ገጽ ሲያገኝ ክሮውለሮች እገዳ ወይም Just a moment... ገጽ ሊያገኙ ይችላሉ። ገጽዎ በሁለቱም መንገድ ይጠየቃል፣ ልዩነቱም ምልክት ይደረግበታል።

robots.txt እና ፋየርዎል

robots.txt ክሮውለርን ሲፈቅድ ሰርቨሩ ሲከለክለው ሪፖርቱ ግጭቱን ያሳያል፤ ስለዚህ የትኛውን ቅንብር መቀየር እንዳለብዎ ያውቃሉ።

ፋየርዎሉ በስም

የመለሰው CDN ወይም ፋየርዎል Cloudflareንም ጨምሮ በስም ይጠራል፤ ስለዚህ የት መፈለግ እንዳለብዎ መገመት አያስፈልግም።

የሚተገበረው ደንብ

እያንዳንዱ ግኝት እንደ Cloudflare ደንብ ወይም የallowlist ደረጃ ያለ መፍትሔ ይዞ ይመጣል። ነጻው ፍተሻ ውጤትዎን እና የመጀመሪያውን ግኝት ያሳያል፤ ሙሉው ሪፖርት $29 ነው፣ አንድ ጊዜ ብቻ።

አጭር መልስ

robots.txt ክሮውለሩን ቢፈቅድም እንኳ Cloudflare እና ሌሎች ፋየርዎሎች ለAI ክሮውለሮች በ403፣ በ429 ወይም በ"Just a moment..." challenge ገጽ ሊመልሱ ይችላሉ፣ አሳሾች ግን እውነተኛውን ገጽ ያገኛሉ። ገጹን በክሮውለሩ user agent በመጠየቅ ይፈትሹ፣ ከዚያ የAI ፍለጋ ክሮውለሮችን በAI Crawl Control ወይም በWAF skip rule ይፍቀዱ።

በ3 ደረጃዎች ያግኙ እና ያስተካክሉ

  1. ገጹን ሁለት ጊዜ ይጠይቁ

    አንድ ጊዜ በአሳሽ user agent፣ አንድ ጊዜ በክሮውለሩ። ለክሮውለሩ ብቻ የሚመጣ 403፣ 429 ወይም 503፣ የJust a moment... ገጽ ወይም በጣም አጭር የሆነ 200 የፋየርዎል እገዳ ማለት ነው።

  2. የፍለጋ ክሮውለሮችን ይፍቀዱ

    በCloudflare ውስጥ AI Crawl Control ይክፈቱ፣ ወደ Crawlers ዝርዝር ይሂዱ እና እንደ OAI-SearchBot ላሉ የሚፈልጓቸው ክሮውለሮች በAction አምድ ውስጥ Allow ያዘጋጁ።

  3. ካስፈለገ ሌሎቹን ጥበቃዎች ይለፉ

    የWAF custom rule፣ Super Bot Fight Mode ወይም rate limiting አሁንም የሚያግዳቸው ከሆነ፣ ለverified bots እነዚያን ባህሪያት የሚያልፍ ደንብ ያክሉ፣ መጀመሪያም ያስቀምጡት። ከuser agent ማዛመድ ይልቅ verified bot መስክን ወይም የአቅራቢውን የታተሙ IP ክልሎች ይምረጡ።

ተደጋግመው የሚጠየቁ ጥያቄዎች

በCloudflare ውስጥ የትኞቹ የAI ክሮውለሮች እንደታገዱ የት ማየት እችላለሁ?

በCloudflare dashboard ውስጥ AI Crawl Controlን ይክፈቱ። የክሮውለር ዝርዝሩ Cloudflare በዶሜንዎ ላይ ያየውን እያንዳንዱን የAI ክሮውለር፣ ስንት ጥያቄዎች እንዳቀረበ እና actionው Allow ወይም Block መሆኑን ያሳያል፣ actionውንም እዚያ መቀየር ይችላሉ። እንደ Bot Fight Mode ያሉ ሌሎች ባህሪያት የፈቀዱትን ክሮውለር አሁንም ሊያግዱ ይችላሉ፣ ስለዚህ ውጤቱን የክሮውለሩን user agent በሚጠቀም ጥያቄ ያረጋግጡ።

Cloudflare በነባሪ የAI ክሮውለሮችን ያግዳል?

በመለያዎ፣ በዕቅድዎ እና በzoneዎ ውስጥ ባሉት ቅንብሮች ላይ የተመሠረተ ነው፣ Cloudflare ደግሞ እነዚህን አማራጮች በጊዜ ሂደት ቀይሯቸዋል። AI Crawl Controlን እና የቦት ቅንብሮችዎን ይፈትሹ፣ ከመገመትም ይልቅ በክሮውለሩ user agent ይሞክሩ።

ድረ-ገጼ በአሳሽ ውስጥ ለምን ይሠራል ለክሮውለሮች ግን አይሠራም?

ፋየርዎሎች እያንዳንዱን ጥያቄ ይገመግማሉ። አሳሽ የJavaScript challenges ያልፋል እና cookies ያስቀምጣል፤ ክሮውለር ግን አያደርግም፣ ስለዚህ እርስዎ በጭራሽ የማያዩትን የchallenge ገጽ ወይም 403 ሊያገኝ ይችላል።

የAI ክሮውለሮችን በWAF ውስጥ ማሳለፍ ደህንነቱ የተጠበቀ ነው?

በስም የተገለጸን ክሮውለር በአቅራቢው IP ክልሎች ወይም በCloudflare verified bot ምልክት ካረጋገጡት መፍቀዱ ትንሽ አደጋ ነው። user agentን ብቻ የሚያምኑ ደንቦች የሚቀዳውን ማንኛውንም ሰውም ያስገባሉ።

የCloudflare የኢሜይል መደበቂያ ባህሪ የAI ክሮውለሮችን ይነካል?

የኢሜይል አድራሻዎችን script ብቻ በሚፈታው አገናኝ ይተካል፣ ስለዚህ ክሮውለሮች ከአድራሻው ፈንታ ምትክ ጽሑፍ ያያሉ። የመገናኛ ኢሜይልዎ እንዲነበብ ከፈለጉ፣ በScrape Shield ስር Email Address Obfuscationን ያጥፉ እና አድራሻውን እንደ ተራ ጽሑፍ ያሳዩ።

ሙሉውን መመሪያ ያንብቡ

የቦት መከላከያ scrapersን እና አላግባብ መጠቀምን ለማስቆም ነው ያለው፣ በዚህም ጎበዝ ነው። ችግሩ የAI ፍለጋ ክሮውለሮችም ቦቶች መሆናቸው ነው። ከዓመታት በፊት የበራ የደህንነት ቅንብር፣ rate limit ወይም ባልታወቁ user agents ላይ ያለ ሰፊ ደንብ የሚጠቅሱዎትን ክሮውለሮች በጸጥታ ሊያስቀር ይችላል፣ የእርስዎ ጉብኝቶች ግን ፍጹም መደበኛ ይመስላሉ።

ፋየርዎል የAI ክሮውለሮችን ለምን ያግዳል?

ፋየርዎሎች እያንዳንዱን ጥያቄ ይገመግማሉ። ክሮውለር የJavaScript challenges አያስኬድም፣ እንደ አሳሽ cookies አያስቀምጥም፣ ብዙ ጊዜም በተከታታይ ብዙ ገጾችን ይጠይቃል፣ ስለዚህ የቦት መከላከያ ለማስቆም የተሠራለትን ትራፊክ በትክክል ሊመስል ይችላል። የተለመዱ ምክንያቶች፦

  • ከታወቁ የቦት ንድፎች ጋር የሚዛመድ ትራፊክን challenge የሚያደርጉ የቦት መከላከያ ባህሪያት። ለምሳሌ የCloudflare Bot Fight Mode ለቦቶች ብዙ ስሌት የሚጠይቁ challenges ይሰጣል።
  • እንደ "bot" ወይም "crawler" ያሉ ቃላትን የያዙ user agentsን የሚያግዱ ወይም challenge የሚያደርጉ፣ ወይም አጭር የፍለጋ ሞተሮች ዝርዝርን ብቻ የሚፈቅዱ የWAF custom rules።
  • የAI ክሮውለሮችን እንደ ምድብ የሚያግዱ ቅንብሮች። Cloudflare ለSearch፣ Agent እና Training ክሮውለሮች ፖሊሲዎችን እንዲያዘጋጁ ያስችላል፣ እዚያ ያለ የBlock ቅንብር ደግሞ በሁሉም ላይ ይተገበራል።
  • የክሮውለርን ፈጣን ተከታታይ ጥያቄዎች በ429 የሚመልስ rate limiting።
  • ክሮውለሮች የሚሠሩባቸውን አውታረ መረቦች በአጋጣሚ የሚሸፍኑ የአገር ወይም የASN እገዳዎች።

የፋየርዎል እገዳን ከrobots.txt እገዳ እንዴት እለያለሁ?

የrobots.txt እገዳ ጨዋ ጥያቄ ነው፦ ክሮውለሩ ደንቦችዎን ያነባል እና ገጹን አያመጣም። የፋየርዎል እገዳ ምላሽ ነው፦ ክሮውለሩ ገጹን ይጠይቃል እና ሌላ ነገር ያገኛል። ሁለተኛውን ዓይነት በቀጥታ ማየት ይችላሉ። ገጹን ሁለት ጊዜ ይጠይቁ፣ አንድ ጊዜ በአሳሽ user agent አንድ ጊዜ ደግሞ በክሮውለሩ user agent፣ እና ያነጻጽሩ።

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

የፋየርዎል እገዳ ምልክቶች፦ ለክሮውለሩ ብቻ የሚመጣ ሁኔታ 403፣ 429 ወይም 503፤ Just a moment... ወይም Attention Required! | Cloudflare የሚል ርዕስ ያለው ገጽ፤ /cdn-cgi/challenge-platformን የያዘ body፤ ወይም ከአሳሹ በጣም አጭር የሆነ የ200 ምላሽ። ሙከራዎ የሚመጣው ከክሮውለሩ የተረጋገጠ IP ክልል ሳይሆን ከራስዎ IP መሆኑን ያስታውሱ፣ ስለዚህ ፋየርዎሉ user agentውን እንዴት እንደሚያስተናግድ ያሳያል እንጂ እውነተኛውን ክሮውለር እንዴት እንደሚያስተናግድ እያንዳንዱን ዝርዝር አያሳይም።

በCloudflare ውስጥ የAI ፍለጋ ክሮውለሮችን እንዴት እፈቅዳለሁ?

በሁሉም ዕቅዶች ላይ የሚገኘው የCloudflare AI Crawl Control domainዎን የሚጎበኙ የAI ክሮውለሮችን ይዘረዝራል እና ለእያንዳንዱ እርምጃ እንዲያዘጋጁ ያስችላል። በdashboardው ውስጥ AI Crawl Controlን ይክፈቱ፣ ወደ Crawlers ዝርዝር ይሂዱ እና ለእያንዳንዱ ክሮውለር በAction አምድ ውስጥ Allow ወይም Block ይምረጡ። Cloudflare እዚያ ማገድ በzoneዎ ላይ የWAF custom rule እንደሚፈጥር ወይም እንደሚያዘምን ይናገራል።

ክሮውለሩን የሚያግደው የWAF custom rule፣ Super Bot Fight Mode ወይም rate limiting ከሆነ፣ ለverified bots እና ለክሮውለሩ token እነዚያን ባህሪያት የሚዘል custom rule ይጨምሩ፦

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

ደንቡን መጀመሪያ ያስቀምጡ። በuser agent ማዛመድ ያንን user agent የሚያስመስልን ማንኛውንም ሰው እንደሚያሳልፍ ልብ ይበሉ። በሚቻልበት ጊዜ የverified bot መስኩን (cf.client.bot) ወይም አቅራቢው የሚያትማቸውን IP ክልሎች ይምረጡ።

ስለ Bot Fight Modeስ?

የCloudflare ሰነዶች Bot Fight Mode በWAF custom rules ወይም በPage Rules ሊታለፍ ወይም ሊዘለል እንደማይችል በግልጽ ይናገራሉ። ክሮውለሮችን challenge የሚያደርገው ይህ ባህሪ ከሆነ፣ skip rule አይረዳም። አማራጮቹ Bot Fight Modeን ማጥፋት፣ ወይም ባለው ዕቅድ ላይ በRuleset Engine የሚሠራውን እና skip rules የሚደግፈውን Super Bot Fight Mode መጠቀም ናቸው።

የትኞቹን ክሮውለሮች ማሳለፍ አለብኝ?

ክሮውለሮችን በሚሠሩት ሥራ ይለዩ። የፍለጋ እና የተጠቃሚ fetch ክሮውለሮች የAI መልሶች ሊያገኙዎት እና ሊጠቅሱዎት ይችሉ እንደሆነ ይወስናሉ። የስልጠና ክሮውለሮች ለሞዴሎች ውሂብ ይሰበስባሉ፣ እነሱን ማገድ ደግሞ ከAI ፍለጋ የማያስወጣዎት ሕጋዊ ምርጫ ነው።

  • ፍለጋ፦ OAI-SearchBot፣ Claude-SearchBot፣ PerplexityBot፣ Googlebot፣ bingbot፣ Applebot።
  • የተጠቃሚ fetches፦ ChatGPT-User፣ Claude-User፣ Perplexity-User።
  • ስልጠና፦ GPTBot፣ ClaudeBot፣ CCBot፣ meta-externalagent፣ Bytespider።

የCloudflare የራሱ የፖሊሲ ቅንብሮች ተመሳሳዩን ክፍፍል ወደ Search፣ Agent እና Training ይጠቀማሉ፣ ስለዚህ የመጀመሪያዎቹን ሁለቱን ፈቅደው ስለ ሦስተኛው ለየብቻ መወሰን ይችላሉ። ሌላ ፋየርዎል ወይም CDN የሚጠቀሙ ከሆነ መርሁ ተመሳሳይ ነው፦ የክሮውለሩን token በallowlist ውስጥ ያስገቡ፣ በሚቀርብበት ቦታ በአቅራቢው የታተሙ IP ክልሎች ወይም በreverse DNS የተረጋገጠ፣ ስለዚህ እንደ አሳሽ ተመሳሳይ ምላሽ ያገኛል።

AISeeWhy የፋየርዎል እገዳዎችን እንዴት ይለያል?

AISeeWhy ገጽዎን እንደ 14 ክሮውለሮች እና እንደ መደበኛ አሳሽ ይጠይቃል፣ ሁኔታን፣ መጠንን እና redirectsን ያነጻጽራል፣ የchallenge ገጾችን ይለያል እና የመለሰውን ፋየርዎል ወይም CDN በስም ይገልጻል። robots.txt ክሮውለርን ሲፈቅድ አገልጋዩ ግን ሲያግደው፣ ሪፖርቱ ግጭቱን ያሳያል እና ለማስተካከል የCloudflare ደንቡን ወይም የallowlist እርምጃውን ይሰጣል።

ለዚህ ችግር ማስተካከያዎች

ነጻ መሣሪያዎች

ቀጣይ እርምጃዎች

በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች

ምንጮች

ተጨማሪ ጽሑፎች

የታተመበት · የተሻሻለበት