Paano basahin ang AI Crawl Control report ng Cloudflare at makita kung aling mga AI crawler ang nakakapasok
Buksan ang AI Crawl Control sa dashboard ng Cloudflare: ipinapakita ng listahan ng crawler ang bawat AI crawler na nakita ng Cloudflare sa domain mo, ang mga request nito, ang mga paglabag nito sa robots.txt at kung Allow o Block ang action nito. Para manatili sa AI search habang tumatanggi sa training, payagan ang mga search at agent crawler at i-block o i-disallow ang mga training crawler doon o sa AI Crawler and Agent access policies. Pagkatapos, kumpirmahin mula sa labas gamit ang curl, dahil puwede pa ring i-block ng ibang feature ng Cloudflare ang crawler na pinayagan mo.
May dalawang lugar na ngayon sa Cloudflare na nagpapasya kung ano ang natatanggap ng mga AI crawler: ang AI Crawl Control, ang report at switchboard bawat crawler na dating tinatawag na AI Audit, at ang AI Crawler and Agent access policies para sa buong zone sa ilalim ng Security settings. Parehong available sa Free plan, parehong nagbago noong 2026, at wala sa dalawa ang nagsasabi tungkol sa bawat ibang feature na puwede pa ring sumagot ng 403 sa crawler. Dinadaanan ng gabay na ito ang report column bawat column, ipinapakita kung saan itinatakda ang allow at block, at nagtatapos sa test na mapapatakbo mo mula sa sarili mong computer.
Sa pahinang ito
- Nasaan ang AI crawler report sa Cloudflare?
- Ano ang ibig sabihin ng bawat column at metric sa AI Crawl Control report?
- Paano ko papayagan ang mga AI search crawler at iba-block ang mga training crawler sa Cloudflare?
- Ano ang nagbago sa mga default ng Cloudflare para sa AI crawler?
- Bakit bina-block pa rin ng Cloudflare ang mga AI crawler kahit pinayagan ko na sila?
- Paano ko makukumpirma mula sa labas kung aling mga AI crawler ang pinapapasok ng Cloudflare?
- Paano sinusuri ng AISeeWhy ang ipinapadala ng Cloudflare sa mga AI crawler?
Nasaan ang AI crawler report sa Cloudflare?
Sa dashboard, piliin ang account at domain mo, saka buksan ang AI Crawl Control. Sabi ng Cloudflare, gumagana ito nang walang configuration at available sa lahat ng plan, basta naka-proxy sa Cloudflare ang traffic ng domain mo. May apat itong bahagi:
- Overview: executive summary na may kabuuang request, pagbabago sa dami, pinakakaraniwang status code, pinakasikat na path at mga crawler na mataas ang dami, pati kung naka-on ang managed robots.txt ng Cloudflare, at mga crawler na naka-grupo ayon sa operator gaya ng OpenAI, Microsoft, Google, ByteDance, Anthropic at Meta.
- Ang listahan ng crawler: isang row bawat AI crawler, may Action column kung saan pipili ka ng Allow o Block. Tinatawag ng dokumentasyon ng Cloudflare ang tab na ito na Crawlers sa isang pahina at Security sa iba, kaya hanapin ang table na may Action column.
- Metrics: mga request sa paglipas ng panahon, distribusyon ng status code, format ng content, pinakasikat na mga path at, sa mga bayad na plan, mga referral. Saklaw ng mga filter ang date range, crawler, operator, hostname at path, at puwede kang mag-export ng CSV.
- Directives: ang kalusugan ng robots.txt file mo at ang listahan ng mga paglabag sa robots.txt.
Dalawang limitasyon ng plan ang mahalaga kapag binabasa ang mga numero. Sa Free plan, kinikilala ng AI Crawl Control ang mga crawler sa user agent string lang, kaya ang mga crawler na nagpapakilala lang ang nakikita nito, at saklaw ng Metrics tab ang nakaraang 24 na oras. Nagdadagdag ang mga bayad na plan ng detection gamit ang Bot Management detection ID, at may nako-configure na time frame ang Enterprise na may Bot Management.
Ano ang ibig sabihin ng bawat column at metric sa AI Crawl Control report?
Ganito dinodokumento ng Cloudflare ang mga field. Mahalaga ang mga depinisyon, dahil mas marami ang binibilang ng ilang numero kaysa sa inaasahan mo.
- Crawler at Category: ang pangalan ng crawler, ang operator nito, at ang kategorya nito, gaya ng AI crawler, AI assistant o archiver.
- Requests: mga pinayagang request at mga hindi matagumpay, na may trend chart. Puwedeng manggaling ang mga hindi matagumpay na request sa anumang rule o response error, hindi lang sa block ng AI Crawl Control, kaya kung mataas ang numero para sa crawler na pinayagan mo, may ibang rule o error sa origin mo.
- Allowed requests: mga request na nakatanggap ng status mula 200 hanggang 299. Sinusukat ang data transfer mula sa mga byte na ipinadala ng Cloudflare para sa mga pinayagang request.
- Robots.txt violations: ilang beses humiling ang crawler ng path na dini-disallow ng robots.txt mo. Inihahambing ng Cloudflare ang mga nakaraang request sa kasalukuyan mong mga rule, kaya puwedeng ma-flag ng rule na idinagdag mo ngayon ang mga request na pinayagan noong ginawa ang mga ito.
- Action: Allow, Block, o, para sa mga account sa pay per crawl beta, Charge.
- Distribusyon ng status code: 2xx, 3xx, 4xx at 5xx. Kasama sa 4xx ang 403 mula sa mga block at 402 mula sa pay per crawl.
- Mga referral at top referrer, sa mga bayad na plan lang: mga visit na dumating mula sa mga AI service, halimbawa mula sa chatgpt.com, at ang mga pahinang nilapagan nila.
Basahin ang report batay sa action na pinili mo. Ang crawler na naka-Allow ay dapat magpakita ng karamihang pinayagang request at 2xx na code. Kung marami itong hindi matagumpay na request, buksan ang distribusyon ng status code na naka-filter sa crawler na iyon, at tingnan ang Security Analytics para mahanap ang rule na sumagot.
Paano ko papayagan ang mga AI search crawler at iba-block ang mga training crawler sa Cloudflare?
Magagawa mo ito bawat crawler o ayon sa uri ng gawain. Bawat crawler: buksan ang AI Crawl Control at itakda ang Action ng bawat row. Sabi ng Cloudflare, ang pag-block doon ay gumagawa o nag-a-update ng WAF custom rule sa zone mo, na mapapalawak mo sa WAF para sa mga exception ng path. Sa mga bayad na plan, mapipili mo kung 403 o 402 ang makukuha ng mga naka-block na crawler at makapagtatakda ng plain text na body.
Ayon sa uri ng gawain: pumunta sa Security, saka Settings, i-filter ayon sa Bot traffic at buksan ang AI Crawler and Agent access policies. Hinahati ng Cloudflare ang AI traffic sa tatlong uri, at nalalapat ang bawat policy sa mga verified bot na may ganoong gawain at sa mga katugmang unverified bot:
- Search: pagkolekta o pag-index ng content para masagot ang mga tanong sa ibang pagkakataon.
- Agent: pagkilos nang real time para sa isang tao, gaya ng mga fetch sa chat at mga browser agent.
- Training: pagkolekta ng content para mag-train o mag-fine-tune ng mga model, kasama ang mga crawler na ginagamit sa training at search.
Maitatakda ang bawat uri sa Block, Block on pages with ads, o Allow (do not block). May Disallow din ang Training, na humihiling lang sa mga crawler sa pamamagitan ng robots.txt. Kapag naka-on ang Bot Preference Sync, nilalagyan ng Cloudflare sa unahan ng robots.txt mo ng mga managed rule na nagdi-disallow sa Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot at meta-externalagent, nagdadagdag ng linyang Content Signals, at bina-block din ang mga AI training crawler sa edge, maliban sa mga crawler na ginagamit sa search at training.
Para sa karamihan ng site na gustong masipi ng AI, ang ligtas na kombinasyon ay Search at Agent sa Allow at Training sa Disallow, saka indibidwal na Block action sa AI Crawl Control para sa mga crawler na pang-training lang na gusto mong pigilan sa edge.
Ano ang nagbago sa mga default ng Cloudflare para sa AI crawler?
Noong Hulyo 1, 2025, inanunsyo ng Cloudflare na babaguhin nito ang default para i-block ang mga AI crawler maliban kung magbabayad sila sa mga creator. Noong Hulyo 1, 2026, pinalitan nito ang iisang switch na Block AI bots ng magkakahiwalay na policy na Search, Agent at Training na inilarawan sa itaas, para sa lahat ng plan kasama ang Free. Sinabi rin sa parehong anunsyo na ang mga bagong domain na papasok mula Setyembre 15, 2026 ay naka-block ang Training at Agent sa mga pahinang may ad, habang pinapayagan ang Search.
Sinasabi ng kasalukuyang dokumentasyon ng policy ng Cloudflare, na huling in-update noong Nobyembre 2, 2026, na Allow (do not block) ang default ng mga bagong domain para sa tatlong uri. Dahil iba-ibang default ang inilarawan ng mismong mga pahina ng Cloudflare sa iba't ibang panahon, huwag umasa sa alinman sa mga ito para sa zone mo: buksan ang policy page at basahin kung ano ang nakatakda.
Bakit bina-block pa rin ng Cloudflare ang mga AI crawler kahit pinayagan ko na sila?
Pinipigilan lang ng Allow action sa AI Crawl Control ang AI Crawl Control mismo na mag-block. Kumikilos pa rin sa request ang ibang feature. Mga karaniwang dahilan:
- Bina-block din ng pag-block sa Training ang mga search crawler na gumagawa ng dalawa. Sabi ng dokumentasyon ng Cloudflare, nalalapat ang mga Training action sa mga crawler na may halong layunin, at pinapangalanan ng anunsyo nito noong Hulyo 2026 ang Googlebot, Applebot at bingbot bilang mga crawler na iba-block mula Setyembre 15, 2026 ng mga customer na nagba-block sa Training. Mas makitid na pagpipilian ang Disallow, dahil nilalaktawan ng edge block nito ang mga crawler na may halong layunin.
- Naka-on ang Bot Fight Mode. Sabi ng Cloudflare, hindi mo malalampasan o malalaktawan ang Bot Fight Mode gamit ang WAF custom rule o Page Rules. Kung chine-challenge nito ang isang crawler, i-off ito, o sa plan na mayroon nito, gamitin ang Super Bot Fight Mode, na sumusuporta sa mga skip rule.
- May lumang WAF custom rule na nagba-block sa mga user agent na naglalaman ng
bot, o rate limiting rule na sumasagot ng 429 sa biglang dami ng request. Tumatakbo ang mga ito anuman ang Action sa AI Crawl Control. - Mano-manong in-edit ang block rule. Kung pinalitan ng ibang response code ang WAF rule sa likod ng AI Crawl Control, hindi na maipapatupad ng dashboard ang pinili mo.
- Dini-disallow pa rin ng robots.txt ang crawler. Hindi binabago ng Allow ng Cloudflare ang robots.txt mo, kaya lumalayo pa rin ang magalang na crawler. Sa pag-aaral namin sa 1,000 pinakasikat na domain, 98 sa 155 site na nag-block ng AI training crawler sa robots.txt ang nag-block din ng hindi bababa sa isang AI search o user crawler.
Paano ko makukumpirma mula sa labas kung aling mga AI crawler ang pinapapasok ng Cloudflare?
Hilingin ang parehong pahina gamit ang user agent ng browser at ang user agent ng bawat crawler, saka ihambing ang status at laki. Ang mga string ng OpenAI, Perplexity at Google sa ibaba ay ang mga inilathala ng mga kumpanyang iyon.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Kapag 403, 429 o 503 ang linya ng crawler, o mas maliit nang husto ang laki kaysa sa linya ng browser, may bagay sa harap ng origin mo na iba ang isinagot. Sa Free plan, nakikilala ng AI Crawl Control ang mga crawler ayon sa user agent, kaya makatwirang pagsusuri ang test na ito sa mga block nito. Ang mga rule na batay sa verified bot status o bot score ay maaaring iba ang trato sa request mo kaysa sa totoong crawler, dahil galing ito sa IP address mo at hindi sa mga inilathalang range ng operator. Pagkatapos ng test, hanapin ang sarili mong mga request sa Security Analytics para makita kung aling rule ang tumugma.
Paano sinusuri ng AISeeWhy ang ipinapadala ng Cloudflare sa mga AI crawler?
Hinihiling ng libreng pagsusuri ng AISeeWhy ang pahina mo bilang 16 na AI at search crawler katabi ng totoong browser, inilalapat ang robots.txt mo sa bawat crawler at nakikilala ang mga challenge page ng firewall, kaya makikita mo kung tugma ang resulta sa dashboard ng Cloudflare sa talagang natatanggap ng mga crawler.
Mga ayos para sa problemang ito
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- Pagsusuri ng IP ng AI crawler
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga madalas itanong
Libre ba ang Cloudflare AI Crawl Control?
Oo. Nakalista sa Cloudflare ang AI Crawl Control bilang available sa lahat ng plan. Sa user agent lang nakikilala ng Free plan ang mga crawler at ang nakaraang 24 na oras ang ipinapakita nito sa Metrics; kailangan ng bayad na plan para sa referral data at custom na block response.
Ano ang nangyari sa Cloudflare AI Audit?
Pinalitan ang pangalan nito. Inilalarawan ng dokumentasyon ng Cloudflare ang AI Crawl Control bilang dating AI Audit, na may parehong layunin: makita kung aling mga AI crawler ang bumibisita at magtakda ng action para sa bawat isa.
Binabago ba ng pag-block ng crawler sa AI Crawl Control ang robots.txt ko?
Hindi. Gumagawa o nag-a-update ng WAF custom rule ang Block action. Nagbabago lang ang robots.txt kung gagamitin mo ang Disallow option para sa Training kasama ang Bot Preference Sync, na naglalagay ng mga managed rule ng Cloudflare sa unahan ng file mo.
Ano ang bilang na paglabag sa robots.txt sa Cloudflare?
Request mula sa AI crawler sa path na dini-disallow ng robots.txt mo. Inihahambing ng Cloudflare ang mga nakaraang request sa kasalukuyan mong mga rule, kaya puwedeng ma-flag ng bagong rule ang mga lumang request na pinayagan noon.
Ano ang pay per crawl?
Isang Charge action na humihiling sa mga AI crawler na magbayad bawat request, at sumasagot ng HTTP 402 at presyo kung hindi. Inilalarawan ito ng Cloudflare bilang closed beta, at nangingibabaw rito ang mga block ng WAF o Bot Management.
Mga pinagmulan
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11