Paano basahin ang AI Crawl Control report ng Cloudflare at makita kung aling mga AI crawler ang nakakapasok

Inilathala

Maikling sagot

Buksan ang AI Crawl Control sa dashboard ng Cloudflare: ipinapakita ng listahan ng crawler ang bawat AI crawler na nakita ng Cloudflare sa domain mo, ang mga request nito, ang mga paglabag nito sa robots.txt at kung Allow o Block ang action nito. Para manatili sa AI search habang tumatanggi sa training, payagan ang mga search at agent crawler at i-block o i-disallow ang mga training crawler doon o sa AI Crawler and Agent access policies. Pagkatapos, kumpirmahin mula sa labas gamit ang curl, dahil puwede pa ring i-block ng ibang feature ng Cloudflare ang crawler na pinayagan mo.

May dalawang lugar na ngayon sa Cloudflare na nagpapasya kung ano ang natatanggap ng mga AI crawler: ang AI Crawl Control, ang report at switchboard bawat crawler na dating tinatawag na AI Audit, at ang AI Crawler and Agent access policies para sa buong zone sa ilalim ng Security settings. Parehong available sa Free plan, parehong nagbago noong 2026, at wala sa dalawa ang nagsasabi tungkol sa bawat ibang feature na puwede pa ring sumagot ng 403 sa crawler. Dinadaanan ng gabay na ito ang report column bawat column, ipinapakita kung saan itinatakda ang allow at block, at nagtatapos sa test na mapapatakbo mo mula sa sarili mong computer.

Sa pahinang ito
  1. Nasaan ang AI crawler report sa Cloudflare?
  2. Ano ang ibig sabihin ng bawat column at metric sa AI Crawl Control report?
  3. Paano ko papayagan ang mga AI search crawler at iba-block ang mga training crawler sa Cloudflare?
  4. Ano ang nagbago sa mga default ng Cloudflare para sa AI crawler?
  5. Bakit bina-block pa rin ng Cloudflare ang mga AI crawler kahit pinayagan ko na sila?
  6. Paano ko makukumpirma mula sa labas kung aling mga AI crawler ang pinapapasok ng Cloudflare?
  7. Paano sinusuri ng AISeeWhy ang ipinapadala ng Cloudflare sa mga AI crawler?

Nasaan ang AI crawler report sa Cloudflare?

Sa dashboard, piliin ang account at domain mo, saka buksan ang AI Crawl Control. Sabi ng Cloudflare, gumagana ito nang walang configuration at available sa lahat ng plan, basta naka-proxy sa Cloudflare ang traffic ng domain mo. May apat itong bahagi:

Dalawang limitasyon ng plan ang mahalaga kapag binabasa ang mga numero. Sa Free plan, kinikilala ng AI Crawl Control ang mga crawler sa user agent string lang, kaya ang mga crawler na nagpapakilala lang ang nakikita nito, at saklaw ng Metrics tab ang nakaraang 24 na oras. Nagdadagdag ang mga bayad na plan ng detection gamit ang Bot Management detection ID, at may nako-configure na time frame ang Enterprise na may Bot Management.

Ano ang ibig sabihin ng bawat column at metric sa AI Crawl Control report?

Ganito dinodokumento ng Cloudflare ang mga field. Mahalaga ang mga depinisyon, dahil mas marami ang binibilang ng ilang numero kaysa sa inaasahan mo.

Basahin ang report batay sa action na pinili mo. Ang crawler na naka-Allow ay dapat magpakita ng karamihang pinayagang request at 2xx na code. Kung marami itong hindi matagumpay na request, buksan ang distribusyon ng status code na naka-filter sa crawler na iyon, at tingnan ang Security Analytics para mahanap ang rule na sumagot.

Paano ko papayagan ang mga AI search crawler at iba-block ang mga training crawler sa Cloudflare?

Magagawa mo ito bawat crawler o ayon sa uri ng gawain. Bawat crawler: buksan ang AI Crawl Control at itakda ang Action ng bawat row. Sabi ng Cloudflare, ang pag-block doon ay gumagawa o nag-a-update ng WAF custom rule sa zone mo, na mapapalawak mo sa WAF para sa mga exception ng path. Sa mga bayad na plan, mapipili mo kung 403 o 402 ang makukuha ng mga naka-block na crawler at makapagtatakda ng plain text na body.

Ayon sa uri ng gawain: pumunta sa Security, saka Settings, i-filter ayon sa Bot traffic at buksan ang AI Crawler and Agent access policies. Hinahati ng Cloudflare ang AI traffic sa tatlong uri, at nalalapat ang bawat policy sa mga verified bot na may ganoong gawain at sa mga katugmang unverified bot:

Maitatakda ang bawat uri sa Block, Block on pages with ads, o Allow (do not block). May Disallow din ang Training, na humihiling lang sa mga crawler sa pamamagitan ng robots.txt. Kapag naka-on ang Bot Preference Sync, nilalagyan ng Cloudflare sa unahan ng robots.txt mo ng mga managed rule na nagdi-disallow sa Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot at meta-externalagent, nagdadagdag ng linyang Content Signals, at bina-block din ang mga AI training crawler sa edge, maliban sa mga crawler na ginagamit sa search at training.

Para sa karamihan ng site na gustong masipi ng AI, ang ligtas na kombinasyon ay Search at Agent sa Allow at Training sa Disallow, saka indibidwal na Block action sa AI Crawl Control para sa mga crawler na pang-training lang na gusto mong pigilan sa edge.

Ano ang nagbago sa mga default ng Cloudflare para sa AI crawler?

Noong Hulyo 1, 2025, inanunsyo ng Cloudflare na babaguhin nito ang default para i-block ang mga AI crawler maliban kung magbabayad sila sa mga creator. Noong Hulyo 1, 2026, pinalitan nito ang iisang switch na Block AI bots ng magkakahiwalay na policy na Search, Agent at Training na inilarawan sa itaas, para sa lahat ng plan kasama ang Free. Sinabi rin sa parehong anunsyo na ang mga bagong domain na papasok mula Setyembre 15, 2026 ay naka-block ang Training at Agent sa mga pahinang may ad, habang pinapayagan ang Search.

Sinasabi ng kasalukuyang dokumentasyon ng policy ng Cloudflare, na huling in-update noong Nobyembre 2, 2026, na Allow (do not block) ang default ng mga bagong domain para sa tatlong uri. Dahil iba-ibang default ang inilarawan ng mismong mga pahina ng Cloudflare sa iba't ibang panahon, huwag umasa sa alinman sa mga ito para sa zone mo: buksan ang policy page at basahin kung ano ang nakatakda.

Bakit bina-block pa rin ng Cloudflare ang mga AI crawler kahit pinayagan ko na sila?

Pinipigilan lang ng Allow action sa AI Crawl Control ang AI Crawl Control mismo na mag-block. Kumikilos pa rin sa request ang ibang feature. Mga karaniwang dahilan:

Paano ko makukumpirma mula sa labas kung aling mga AI crawler ang pinapapasok ng Cloudflare?

Hilingin ang parehong pahina gamit ang user agent ng browser at ang user agent ng bawat crawler, saka ihambing ang status at laki. Ang mga string ng OpenAI, Perplexity at Google sa ibaba ay ang mga inilathala ng mga kumpanyang iyon.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Kapag 403, 429 o 503 ang linya ng crawler, o mas maliit nang husto ang laki kaysa sa linya ng browser, may bagay sa harap ng origin mo na iba ang isinagot. Sa Free plan, nakikilala ng AI Crawl Control ang mga crawler ayon sa user agent, kaya makatwirang pagsusuri ang test na ito sa mga block nito. Ang mga rule na batay sa verified bot status o bot score ay maaaring iba ang trato sa request mo kaysa sa totoong crawler, dahil galing ito sa IP address mo at hindi sa mga inilathalang range ng operator. Pagkatapos ng test, hanapin ang sarili mong mga request sa Security Analytics para makita kung aling rule ang tumugma.

Paano sinusuri ng AISeeWhy ang ipinapadala ng Cloudflare sa mga AI crawler?

Hinihiling ng libreng pagsusuri ng AISeeWhy ang pahina mo bilang 16 na AI at search crawler katabi ng totoong browser, inilalapat ang robots.txt mo sa bawat crawler at nakikilala ang mga challenge page ng firewall, kaya makikita mo kung tugma ang resulta sa dashboard ng Cloudflare sa talagang natatanggap ng mga crawler.

Mga ayos para sa problemang ito

Mga libreng tool

Mga susunod na hakbang

Mga crawler sa artikulong ito

Mga madalas itanong

Libre ba ang Cloudflare AI Crawl Control?

Oo. Nakalista sa Cloudflare ang AI Crawl Control bilang available sa lahat ng plan. Sa user agent lang nakikilala ng Free plan ang mga crawler at ang nakaraang 24 na oras ang ipinapakita nito sa Metrics; kailangan ng bayad na plan para sa referral data at custom na block response.

Ano ang nangyari sa Cloudflare AI Audit?

Pinalitan ang pangalan nito. Inilalarawan ng dokumentasyon ng Cloudflare ang AI Crawl Control bilang dating AI Audit, na may parehong layunin: makita kung aling mga AI crawler ang bumibisita at magtakda ng action para sa bawat isa.

Binabago ba ng pag-block ng crawler sa AI Crawl Control ang robots.txt ko?

Hindi. Gumagawa o nag-a-update ng WAF custom rule ang Block action. Nagbabago lang ang robots.txt kung gagamitin mo ang Disallow option para sa Training kasama ang Bot Preference Sync, na naglalagay ng mga managed rule ng Cloudflare sa unahan ng file mo.

Ano ang bilang na paglabag sa robots.txt sa Cloudflare?

Request mula sa AI crawler sa path na dini-disallow ng robots.txt mo. Inihahambing ng Cloudflare ang mga nakaraang request sa kasalukuyan mong mga rule, kaya puwedeng ma-flag ng bagong rule ang mga lumang request na pinayagan noon.

Ano ang pay per crawl?

Isang Charge action na humihiling sa mga AI crawler na magbayad bawat request, at sumasagot ng HTTP 402 at presyo kung hindi. Inilalarawan ito ng Cloudflare bilang closed beta, at nangingibabaw rito ang mga block ng WAF o Bot Management.

Mga pinagmulan

Iba pang artikulo