Jinsi ya kusoma ripoti ya AI Crawl Control ya Cloudflare na kuona crawler zipi za AI zinaingia

Imechapishwa

Jibu fupi

Fungua AI Crawl Control kwenye dashibodi yako ya Cloudflare: orodha ya crawler inaonyesha kila crawler ya AI ambayo Cloudflare imeiona kwenye kikoa chako, maombi yake, ukiukaji wake wa robots.txt na kama hatua yake ni Allow au Block. Ili kubaki katika utafutaji wa AI huku ukikataa mafunzo, ruhusu crawler za utafutaji na za mawakala na uzuie au uweke disallow kwa crawler za mafunzo hapo au chini ya AI Crawler and Agent access policies. Kisha thibitisha kutoka nje kwa curl, kwa sababu vipengele vingine vya Cloudflare bado vinaweza kuzuia crawler uliyoiruhusu.

Cloudflare sasa ina sehemu mbili zinazoamua kile crawler za AI zinapokea: AI Crawl Control, ripoti na swichi kwa kila crawler ambayo zamani iliitwa AI Audit, na AI Crawler and Agent access policies za kikoa kizima chini ya mipangilio ya Security. Zote zinapatikana kwenye mpango wa Free, zote zilibadilika mwaka 2026, na hakuna inayokuambia kuhusu kila kipengele kingine ambacho bado kinaweza kujibu crawler kwa 403. Mwongozo huu unapitia ripoti safu kwa safu, unaonyesha mahali pa kuweka allow na block, na unamalizia na jaribio unaloweza kuendesha kutoka kompyuta yako.

Kwenye ukurasa huu
  1. Ripoti ya crawler za AI iko wapi katika Cloudflare?
  2. Kila safu na kipimo katika ripoti ya AI Crawl Control kinamaanisha nini?
  3. Nitaruhusuje crawler za utafutaji wa AI na kuzuia crawler za mafunzo katika Cloudflare?
  4. Nini kilibadilika katika chaguo-msingi za Cloudflare kwa crawler za AI?
  5. Kwa nini Cloudflare bado inazuia crawler za AI baada ya kuziruhusu?
  6. Nitathibitishaje kutoka nje crawler zipi za AI Cloudflare inaruhusu kuingia?
  7. AISeeWhy inakaguaje kile Cloudflare inatuma kwa crawler za AI?

Ripoti ya crawler za AI iko wapi katika Cloudflare?

Kwenye dashibodi, chagua akaunti na kikoa chako, kisha fungua AI Crawl Control. Cloudflare inasema inafanya kazi bila usanidi na inapatikana kwenye mipango yote, ilimradi trafiki ya kikoa chako inapitia proxy ya Cloudflare. Ina sehemu nne:

Mipaka miwili ya mipango ni muhimu unaposoma namba. Kwenye mpango wa Free, AI Crawl Control hutambua crawler kwa mfuatano wa user agent pekee, kwa hivyo inaona crawler zinazojitambulisha na si zaidi, na kichupo cha Metrics kinahusu saa 24 zilizopita. Mipango ya kulipia huongeza utambuzi kupitia detection ID ya Bot Management, na Enterprise yenye Bot Management hupata vipindi vya muda vinavyoweza kusanidiwa.

Kila safu na kipimo katika ripoti ya AI Crawl Control kinamaanisha nini?

Cloudflare inaeleza sehemu hizo kama ifuatavyo. Ufafanuzi ni muhimu, kwa sababu namba kadhaa zinahesabu zaidi ya unavyoweza kutarajia.

Soma ripoti kuanzia hatua uliyochagua. Crawler iliyowekwa Allow inapaswa kuonyesha zaidi maombi yaliyoruhusiwa na misimbo ya 2xx. Ikionyesha maombi mengi yasiyofaulu, fungua mgawanyo wa misimbo ya hali uliochujwa kwa crawler hiyo, na ukague Security Analytics kupata sheria iliyojibu.

Nitaruhusuje crawler za utafutaji wa AI na kuzuia crawler za mafunzo katika Cloudflare?

Unaweza kufanya hivyo kwa kila crawler au kwa tabia. Kwa kila crawler, fungua AI Crawl Control na uweke Action kwa kila safu. Cloudflare inasema kuzuia hapo huunda au husasisha sheria maalum ya WAF (WAF custom rule) kwenye zone yako, ambayo unaweza kuipanua katika WAF kwa vighairi vya njia. Kwenye mipango ya kulipia unaweza kuchagua kama crawler zilizozuiwa zipate 403 au 402 na kuweka maandishi ya kawaida ya jibu.

Kwa tabia, nenda Security, kisha Settings, chuja kwa Bot traffic na ufungue AI Crawler and Agent access policies. Cloudflare hupanga trafiki ya AI katika tabia tatu, na kila sera inahusu bots zilizothibitishwa zenye tabia hiyo na bots zisizothibitishwa zinazolingana:

Kila tabia inaweza kuwekwa Block, Block on pages with ads, au Allow (do not block). Training pia ina Disallow, ambayo inaziomba crawler tu kupitia robots.txt. Bot Preference Sync ikiwa imewashwa, Cloudflare huweka mwanzoni mwa robots.txt yako sheria zinazosimamiwa zinazozuia Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot na meta-externalagent, huongeza mstari wa Content Signals, na pia huzuia crawler za mafunzo ya AI kwenye ukingo (edge), isipokuwa crawler zinazotumika kwa utafutaji na mafunzo pamoja.

Kwa tovuti nyingi zinazotaka kunukuliwa na AI, mchanganyiko salama ni Search na Agent kwenye Allow na Training kwenye Disallow, kisha hatua za Block moja moja katika AI Crawl Control kwa crawler za mafunzo pekee unazotaka kusimamisha kwenye ukingo.

Nini kilibadilika katika chaguo-msingi za Cloudflare kwa crawler za AI?

Tarehe 1 Julai 2025, Cloudflare ilitangaza kwamba inabadilisha chaguo-msingi ili kuzuia crawler za AI isipokuwa ziwalipe watayarishi wa maudhui. Tarehe 1 Julai 2026, ilibadilisha swichi moja ya Block AI bots kwa sera tofauti za Search, Agent na Training zilizoelezwa hapo juu, kwa mipango yote ikiwemo Free. Tangazo hilohilo lilisema kwamba vikoa vipya vinavyojiunga kuanzia 15 Septemba 2026 vingekuwa na Training na Agent zimezuiwa kwenye kurasa zenye matangazo, huku Search ikiruhusiwa.

Nyaraka za sasa za sera za Cloudflare, zilizosasishwa mara ya mwisho 2 Novemba 2026, zinasema vikoa vipya vina chaguo-msingi la Allow (do not block) kwa tabia zote tatu. Kwa kuwa kurasa za Cloudflare zenyewe zimeeleza chaguo-msingi tofauti kwa nyakati tofauti, usitegemee yoyote kati yao kwa zone yako: fungua ukurasa wa sera na usome kilichowekwa.

Kwa nini Cloudflare bado inazuia crawler za AI baada ya kuziruhusu?

Hatua ya Allow katika AI Crawl Control husimamisha tu AI Crawl Control isizuie. Vipengele vingine bado vinashughulikia ombi. Sababu za kawaida:

Nitathibitishaje kutoka nje crawler zipi za AI Cloudflare inaruhusu kuingia?

Omba ukurasa uleule kwa user agent ya kivinjari na kwa user agent ya kila crawler, kisha linganisha hali na ukubwa. Mifuatano ya OpenAI, Perplexity na Google iliyo hapa chini ndiyo ambayo kampuni hizo zinachapisha.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Mstari wa crawler wenye 403, 429 au 503, au ukubwa mdogo sana kuliko mstari wa kivinjari, unamaanisha kitu kilicho mbele ya seva yako asili kilijibu tofauti. Kwenye mpango wa Free, AI Crawl Control hutambua crawler kwa user agent, kwa hivyo jaribio hili ni ukaguzi unaofaa wa vizuizi vyake. Sheria zinazotegemea hali ya bot iliyothibitishwa au alama za bot zinaweza kushughulikia ombi lako tofauti na crawler halisi, kwa sababu linatoka anwani yako ya IP na si kutoka safu zilizochapishwa na mwendeshaji. Baada ya kujaribu, tafuta maombi yako katika Security Analytics kuona sheria ipi ililingana.

AISeeWhy inakaguaje kile Cloudflare inatuma kwa crawler za AI?

Ukaguzi wa bure wa AISeeWhy unaomba ukurasa wako kama crawler 16 za AI na za utafutaji kando ya kivinjari halisi, unatumia robots.txt yako kwa kila crawler na unatambua kurasa za changamoto za firewall, ili uone kama matokeo kwenye dashibodi ya Cloudflare yanalingana na kile crawler zinapokea kweli.

Marekebisho ya tatizo hili

Zana za bure

Hatua zinazofuata

Crawler katika makala hii

Maswali yanayoulizwa mara kwa mara

Je, Cloudflare AI Crawl Control ni bure?

Ndiyo. Cloudflare inaorodhesha AI Crawl Control kama inapatikana kwenye mipango yote. Mpango wa Free hutambua crawler kwa user agent pekee na huonyesha saa 24 zilizopita katika Metrics; data ya rufaa na majibu maalum ya kuzuia yanahitaji mpango wa kulipia.

Nini kilitokea kwa Cloudflare AI Audit?

Ilibadilishwa jina. Nyaraka za Cloudflare zinaeleza AI Crawl Control kama ambayo zamani ilikuwa AI Audit, yenye madhumuni yaleyale: kuona crawler zipi za AI zinatembelea na kuweka hatua kwa kila moja.

Je, kuzuia crawler katika AI Crawl Control kunabadilisha robots.txt yangu?

Hapana. Hatua ya Block huunda au husasisha sheria maalum ya WAF. robots.txt hubadilika tu ukitumia chaguo la Disallow kwa Training pamoja na Bot Preference Sync, ambayo huweka sheria zinazosimamiwa za Cloudflare mwanzoni mwa faili yako.

Ukiukaji wa robots.txt katika Cloudflare ni nini?

Ombi kutoka kwa crawler ya AI kwenda njia ambayo robots.txt yako inaizuia. Cloudflare hulinganisha maombi ya zamani na sheria zako za sasa, kwa hivyo sheria mpya inaweza kuweka alama kwa maombi ya zamani yaliyoruhusiwa wakati huo.

Pay per crawl ni nini?

Hatua ya Charge inayoziomba crawler za AI kulipa kwa kila ombi, vinginevyo zinajibiwa kwa HTTP 402 na bei. Cloudflare inaieleza kama beta iliyofungwa, na vizuizi vya WAF au Bot Management vinatangulia juu yake.

Vyanzo

Makala zaidi