Jinsi ya kusoma ripoti ya AI Crawl Control ya Cloudflare na kuona crawler zipi za AI zinaingia
Fungua AI Crawl Control kwenye dashibodi yako ya Cloudflare: orodha ya crawler inaonyesha kila crawler ya AI ambayo Cloudflare imeiona kwenye kikoa chako, maombi yake, ukiukaji wake wa robots.txt na kama hatua yake ni Allow au Block. Ili kubaki katika utafutaji wa AI huku ukikataa mafunzo, ruhusu crawler za utafutaji na za mawakala na uzuie au uweke disallow kwa crawler za mafunzo hapo au chini ya AI Crawler and Agent access policies. Kisha thibitisha kutoka nje kwa curl, kwa sababu vipengele vingine vya Cloudflare bado vinaweza kuzuia crawler uliyoiruhusu.
Cloudflare sasa ina sehemu mbili zinazoamua kile crawler za AI zinapokea: AI Crawl Control, ripoti na swichi kwa kila crawler ambayo zamani iliitwa AI Audit, na AI Crawler and Agent access policies za kikoa kizima chini ya mipangilio ya Security. Zote zinapatikana kwenye mpango wa Free, zote zilibadilika mwaka 2026, na hakuna inayokuambia kuhusu kila kipengele kingine ambacho bado kinaweza kujibu crawler kwa 403. Mwongozo huu unapitia ripoti safu kwa safu, unaonyesha mahali pa kuweka allow na block, na unamalizia na jaribio unaloweza kuendesha kutoka kompyuta yako.
Kwenye ukurasa huu
- Ripoti ya crawler za AI iko wapi katika Cloudflare?
- Kila safu na kipimo katika ripoti ya AI Crawl Control kinamaanisha nini?
- Nitaruhusuje crawler za utafutaji wa AI na kuzuia crawler za mafunzo katika Cloudflare?
- Nini kilibadilika katika chaguo-msingi za Cloudflare kwa crawler za AI?
- Kwa nini Cloudflare bado inazuia crawler za AI baada ya kuziruhusu?
- Nitathibitishaje kutoka nje crawler zipi za AI Cloudflare inaruhusu kuingia?
- AISeeWhy inakaguaje kile Cloudflare inatuma kwa crawler za AI?
Ripoti ya crawler za AI iko wapi katika Cloudflare?
Kwenye dashibodi, chagua akaunti na kikoa chako, kisha fungua AI Crawl Control. Cloudflare inasema inafanya kazi bila usanidi na inapatikana kwenye mipango yote, ilimradi trafiki ya kikoa chako inapitia proxy ya Cloudflare. Ina sehemu nne:
- Overview: muhtasari wa jumla wenye jumla ya maombi, badiliko la kiasi, msimbo wa hali unaojitokeza zaidi, njia maarufu zaidi na crawler zenye kiasi kikubwa, pamoja na kama robots.txt inayosimamiwa na Cloudflare imewashwa, na crawler zilizopangwa kwa mwendeshaji kama OpenAI, Microsoft, Google, ByteDance, Anthropic na Meta.
- Orodha ya crawler: safu moja kwa kila crawler ya AI, yenye safu ya Action ambapo unachagua Allow au Block. Nyaraka za Cloudflare zinaita kichupo hiki Crawlers kwenye ukurasa mmoja na Security kwenye mwingine, kwa hivyo tafuta jedwali lenye safu ya Action.
- Metrics: maombi kwa muda, mgawanyo wa misimbo ya hali, muundo wa maudhui, njia maarufu zaidi na, kwenye mipango ya kulipia, rufaa. Vichujio vinahusu kipindi cha tarehe, crawler, mwendeshaji, jina la mpangishi na njia, na unaweza kuhamisha CSV.
- Directives: afya ya faili yako ya robots.txt na orodha ya ukiukaji wa robots.txt.
Mipaka miwili ya mipango ni muhimu unaposoma namba. Kwenye mpango wa Free, AI Crawl Control hutambua crawler kwa mfuatano wa user agent pekee, kwa hivyo inaona crawler zinazojitambulisha na si zaidi, na kichupo cha Metrics kinahusu saa 24 zilizopita. Mipango ya kulipia huongeza utambuzi kupitia detection ID ya Bot Management, na Enterprise yenye Bot Management hupata vipindi vya muda vinavyoweza kusanidiwa.
Kila safu na kipimo katika ripoti ya AI Crawl Control kinamaanisha nini?
Cloudflare inaeleza sehemu hizo kama ifuatavyo. Ufafanuzi ni muhimu, kwa sababu namba kadhaa zinahesabu zaidi ya unavyoweza kutarajia.
- Crawler na Category: jina la crawler, mwendeshaji wake, na kategoria yake, kama AI crawler, AI assistant au archiver.
- Requests: maombi yaliyoruhusiwa pamoja na yasiyofaulu, na chati ya mwenendo. Maombi yasiyofaulu yanaweza kutoka kwa sheria yoyote au kosa la jibu, si kwa kizuizi cha AI Crawl Control pekee, kwa hivyo namba kubwa kwa crawler uliyoiruhusu inaashiria sheria nyingine au makosa kwenye seva yako asili.
- Allowed requests: maombi yaliyopokea hali kati ya 200 na 299. Uhamishaji wa data hupimwa kutoka baiti ambazo Cloudflare ilituma kwa maombi yaliyoruhusiwa.
- Robots.txt violations: ni mara ngapi crawler iliomba njia ambayo robots.txt yako inaizuia. Cloudflare hulinganisha maombi ya zamani na sheria zako za sasa, kwa hivyo sheria unayoongeza leo inaweza kuweka alama kwa maombi yaliyoruhusiwa wakati yalipofanywa.
- Action: Allow, Block, au, kwa akaunti zilizo katika beta ya pay per crawl, Charge.
- Mgawanyo wa misimbo ya hali: 2xx, 3xx, 4xx na 5xx. Kundi la 4xx linajumuisha 403 kutoka vizuizi na 402 kutoka pay per crawl.
- Referrals na top referrers, kwenye mipango ya kulipia pekee: ziara zilizotoka kwa huduma za AI, kwa mfano kutoka chatgpt.com, na kurasa ambazo zilifikia.
Soma ripoti kuanzia hatua uliyochagua. Crawler iliyowekwa Allow inapaswa kuonyesha zaidi maombi yaliyoruhusiwa na misimbo ya 2xx. Ikionyesha maombi mengi yasiyofaulu, fungua mgawanyo wa misimbo ya hali uliochujwa kwa crawler hiyo, na ukague Security Analytics kupata sheria iliyojibu.
Nitaruhusuje crawler za utafutaji wa AI na kuzuia crawler za mafunzo katika Cloudflare?
Unaweza kufanya hivyo kwa kila crawler au kwa tabia. Kwa kila crawler, fungua AI Crawl Control na uweke Action kwa kila safu. Cloudflare inasema kuzuia hapo huunda au husasisha sheria maalum ya WAF (WAF custom rule) kwenye zone yako, ambayo unaweza kuipanua katika WAF kwa vighairi vya njia. Kwenye mipango ya kulipia unaweza kuchagua kama crawler zilizozuiwa zipate 403 au 402 na kuweka maandishi ya kawaida ya jibu.
Kwa tabia, nenda Security, kisha Settings, chuja kwa Bot traffic na ufungue AI Crawler and Agent access policies. Cloudflare hupanga trafiki ya AI katika tabia tatu, na kila sera inahusu bots zilizothibitishwa zenye tabia hiyo na bots zisizothibitishwa zinazolingana:
- Search: kukusanya au kuorodhesha maudhui ili yaweze kujibu maswali baadaye.
- Agent: kutenda kwa wakati halisi kwa niaba ya mtu, kama upakuaji wa mazungumzo na mawakala wa kivinjari.
- Training: kukusanya maudhui ili kufunza au kuboresha miundo, ikiwemo crawler zinazotumika kwa mafunzo na utafutaji pamoja.
Kila tabia inaweza kuwekwa Block, Block on pages with ads, au Allow (do not block). Training pia ina Disallow, ambayo inaziomba crawler tu kupitia robots.txt. Bot Preference Sync ikiwa imewashwa, Cloudflare huweka mwanzoni mwa robots.txt yako sheria zinazosimamiwa zinazozuia Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot na meta-externalagent, huongeza mstari wa Content Signals, na pia huzuia crawler za mafunzo ya AI kwenye ukingo (edge), isipokuwa crawler zinazotumika kwa utafutaji na mafunzo pamoja.
Kwa tovuti nyingi zinazotaka kunukuliwa na AI, mchanganyiko salama ni Search na Agent kwenye Allow na Training kwenye Disallow, kisha hatua za Block moja moja katika AI Crawl Control kwa crawler za mafunzo pekee unazotaka kusimamisha kwenye ukingo.
Nini kilibadilika katika chaguo-msingi za Cloudflare kwa crawler za AI?
Tarehe 1 Julai 2025, Cloudflare ilitangaza kwamba inabadilisha chaguo-msingi ili kuzuia crawler za AI isipokuwa ziwalipe watayarishi wa maudhui. Tarehe 1 Julai 2026, ilibadilisha swichi moja ya Block AI bots kwa sera tofauti za Search, Agent na Training zilizoelezwa hapo juu, kwa mipango yote ikiwemo Free. Tangazo hilohilo lilisema kwamba vikoa vipya vinavyojiunga kuanzia 15 Septemba 2026 vingekuwa na Training na Agent zimezuiwa kwenye kurasa zenye matangazo, huku Search ikiruhusiwa.
Nyaraka za sasa za sera za Cloudflare, zilizosasishwa mara ya mwisho 2 Novemba 2026, zinasema vikoa vipya vina chaguo-msingi la Allow (do not block) kwa tabia zote tatu. Kwa kuwa kurasa za Cloudflare zenyewe zimeeleza chaguo-msingi tofauti kwa nyakati tofauti, usitegemee yoyote kati yao kwa zone yako: fungua ukurasa wa sera na usome kilichowekwa.
Kwa nini Cloudflare bado inazuia crawler za AI baada ya kuziruhusu?
Hatua ya Allow katika AI Crawl Control husimamisha tu AI Crawl Control isizuie. Vipengele vingine bado vinashughulikia ombi. Sababu za kawaida:
- Kuzuia Training pia huzuia crawler za utafutaji zinazofanya yote mawili. Nyaraka za Cloudflare zinasema hatua za Training zinahusu crawler za madhumuni mchanganyiko, na tangazo lake la Julai 2026 linataja Googlebot, Applebot na bingbot kama crawler ambazo wateja wanaozuia Training watazizuia kuanzia 15 Septemba 2026. Disallow ni chaguo finyu zaidi, kwa sababu kizuizi chake cha ukingo kinaruka crawler za madhumuni mchanganyiko.
- Bot Fight Mode imewashwa. Cloudflare inasema huwezi kukwepa au kuruka Bot Fight Mode kwa kutumia sheria maalum za WAF au Page Rules. Ikiweka changamoto kwa crawler, izime, au kwenye mpango wenye kipengele hicho tumia Super Bot Fight Mode, inayoruhusu sheria za kuruka (skip rules).
- Sheria ya zamani ya WAF inazuia user agents zenye
bot, au sheria ya kikomo cha kasi (rate limiting) inajibu mlipuko wa maombi kwa 429. Hizi huendeshwa bila kujali Action katika AI Crawl Control. - Sheria ya kuzuia ilihaririwa kwa mkono. Kama sheria ya WAF iliyo nyuma ya AI Crawl Control ilibadilishwa kuwa msimbo mwingine wa jibu, dashibodi haiwezi tena kutekeleza chaguo lako.
- robots.txt bado inazuia crawler. Allow ya Cloudflare haibadilishi robots.txt yako, kwa hivyo crawler yenye adabu hukaa mbali hata hivyo. Katika utafiti wetu wa vikoa 1,000 maarufu zaidi, tovuti 98 kati ya 155 zilizozuia crawler ya mafunzo ya AI katika robots.txt pia zilizuia angalau crawler moja ya utafutaji wa AI au ya mtumiaji.
Nitathibitishaje kutoka nje crawler zipi za AI Cloudflare inaruhusu kuingia?
Omba ukurasa uleule kwa user agent ya kivinjari na kwa user agent ya kila crawler, kisha linganisha hali na ukubwa. Mifuatano ya OpenAI, Perplexity na Google iliyo hapa chini ndiyo ambayo kampuni hizo zinachapisha.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Mstari wa crawler wenye 403, 429 au 503, au ukubwa mdogo sana kuliko mstari wa kivinjari, unamaanisha kitu kilicho mbele ya seva yako asili kilijibu tofauti. Kwenye mpango wa Free, AI Crawl Control hutambua crawler kwa user agent, kwa hivyo jaribio hili ni ukaguzi unaofaa wa vizuizi vyake. Sheria zinazotegemea hali ya bot iliyothibitishwa au alama za bot zinaweza kushughulikia ombi lako tofauti na crawler halisi, kwa sababu linatoka anwani yako ya IP na si kutoka safu zilizochapishwa na mwendeshaji. Baada ya kujaribu, tafuta maombi yako katika Security Analytics kuona sheria ipi ililingana.
AISeeWhy inakaguaje kile Cloudflare inatuma kwa crawler za AI?
Ukaguzi wa bure wa AISeeWhy unaomba ukurasa wako kama crawler 16 za AI na za utafutaji kando ya kivinjari halisi, unatumia robots.txt yako kwa kila crawler na unatambua kurasa za changamoto za firewall, ili uone kama matokeo kwenye dashibodi ya Cloudflare yanalingana na kile crawler zinapokea kweli.
Marekebisho ya tatizo hili
Hatua zinazofuata
- Kikagua na kijaribu cha robots.txt kwa crawler za AI
- Ukaguzi wa IP ya crawler za AI
- Tazama mfano wa ripoti kamili
- Ufuatiliaji wa crawler za AI
- Mipango na bei
Crawler katika makala hii
Maswali yanayoulizwa mara kwa mara
Je, Cloudflare AI Crawl Control ni bure?
Ndiyo. Cloudflare inaorodhesha AI Crawl Control kama inapatikana kwenye mipango yote. Mpango wa Free hutambua crawler kwa user agent pekee na huonyesha saa 24 zilizopita katika Metrics; data ya rufaa na majibu maalum ya kuzuia yanahitaji mpango wa kulipia.
Nini kilitokea kwa Cloudflare AI Audit?
Ilibadilishwa jina. Nyaraka za Cloudflare zinaeleza AI Crawl Control kama ambayo zamani ilikuwa AI Audit, yenye madhumuni yaleyale: kuona crawler zipi za AI zinatembelea na kuweka hatua kwa kila moja.
Je, kuzuia crawler katika AI Crawl Control kunabadilisha robots.txt yangu?
Hapana. Hatua ya Block huunda au husasisha sheria maalum ya WAF. robots.txt hubadilika tu ukitumia chaguo la Disallow kwa Training pamoja na Bot Preference Sync, ambayo huweka sheria zinazosimamiwa za Cloudflare mwanzoni mwa faili yako.
Ukiukaji wa robots.txt katika Cloudflare ni nini?
Ombi kutoka kwa crawler ya AI kwenda njia ambayo robots.txt yako inaizuia. Cloudflare hulinganisha maombi ya zamani na sheria zako za sasa, kwa hivyo sheria mpya inaweza kuweka alama kwa maombi ya zamani yaliyoruhusiwa wakati huo.
Pay per crawl ni nini?
Hatua ya Charge inayoziomba crawler za AI kulipa kwa kila ombi, vinginevyo zinajibiwa kwa HTTP 402 na bei. Cloudflare inaieleza kama beta iliyofungwa, na vizuizi vya WAF au Bot Management vinatangulia juu yake.
Vyanzo
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: Ripoti ya ufikiaji wa crawler za AI, 2026-11