Bina-block ba ng Cloudflare ang mga AI crawler? Paano ito malalaman at maaayos
Tingnan sa loob ng mga 30 segundo kung sinasagot ng Cloudflare o ibang firewall ang mga AI crawler ng block, at kunin ang rule na magpapapasok sa mga tamang crawler.
Libre · Walang sign-up · Resulta sa loob ng 30 segundo
Mga 403, 429 at challenge page
Maaaring makatanggap ang mga crawler ng block o pahinang Just a moment... habang totoong pahina ang nakukuha ng browser mo. Kinukuha ang pahina sa dalawang paraan at minamarkahan ang pagkakaiba.
robots.txt laban sa firewall
Kapag pinapayagan ng robots.txt ang crawler pero tinatanggihan ito ng server, ipinapakita ng ulat ang banggaan, kaya alam mo kung aling setting ang babaguhin.
Pinangalanan ang firewall
Pinapangalanan ang CDN o firewall na sumagot, kasama ang Cloudflare, kaya hindi mo na kailangang manghula kung saan titingin.
Ang rule na ilalapat
Bawat natuklasan ay may kasamang ayos, tulad ng rule sa Cloudflare o hakbang sa allowlist. Ipinapakita ng libreng check ang score mo at ang unang natuklasan; ang buong ulat ay $29, minsanan lang.
Maaaring sagutin ng Cloudflare at ibang firewall ang mga AI crawler ng 403, 429 o challenge page na "Just a moment..." habang ang totoong pahina ang nakukuha ng mga browser, kahit pinapayagan ng robots.txt ang crawler. Suriin ito sa pag-request ng pahina gamit ang user agent ng crawler, saka papasukin ang mga AI search crawler sa AI Crawl Control o gamit ang WAF skip rule.
Hanapin at ayusin sa 3 hakbang
- I-request ang pahina nang dalawang beses
Minsan gamit ang user agent ng browser, minsan gamit ang sa crawler. Ang 403, 429 o 503 para lang sa crawler, pahinang
Just a moment...o mas maikling 200 ay nangangahulugang block ng firewall. - Payagan ang mga search crawler
Sa Cloudflare, buksan ang AI Crawl Control, pumunta sa listahan ng Crawlers at itakda ang Allow sa column na Action para sa mga crawler na gusto mo, tulad ng
OAI-SearchBot. - Laktawan ang iba pang proteksyon kung kailangan
Kung hinaharang pa rin sila ng WAF custom rule, Super Bot Fight Mode o rate limiting, magdagdag ng rule, na nakalagay sa unahan, na lalaktaw sa mga feature na iyon para sa mga verified bot. Mas piliin ang verified bot field o ang mga inilathalang IP range ng vendor kaysa sa pag-match ng user agent.
Mga madalas itanong
Saan sa Cloudflare ko makikita kung aling mga AI crawler ang naka-block?
Buksan ang AI Crawl Control sa dashboard ng Cloudflare. Ipinapakita ng listahan ng crawler nito ang bawat AI crawler na nakita ng Cloudflare sa domain mo, ilang request ang ginawa nito at kung Allow o Block ang action nito, at doon mo mababago ang action. Puwede pa ring i-block ng ibang feature, gaya ng Bot Fight Mode, ang crawler na pinayagan mo, kaya kumpirmahin ang resulta gamit ang request na may user agent ng crawler.
Bina-block ba ng Cloudflare ang mga AI crawler bilang default?
Nakadepende ito sa account mo, sa plan at sa mga setting ng zone mo, at binago ng Cloudflare ang mga opsyong ito sa paglipas ng panahon. Tingnan ang AI Crawl Control at ang mga bot setting mo, at sumubok gamit ang user agent ng crawler sa halip na mag-assume.
Bakit gumagana ang site ko sa browser pero hindi sa mga crawler?
Hinuhusgahan ng mga firewall ang bawat request. Pumapasa ang browser sa mga JavaScript challenge at nagtatago ng cookie; hindi ito ginagawa ng crawler, kaya puwede itong makakuha ng challenge page o 403 na hindi mo kailanman nakikita.
Ligtas bang papasukin ang mga AI crawler sa WAF?
Mababa ang panganib sa pagpapapasok ng isang crawler na may pangalan kung beripikahin mo ito ayon sa mga IP range ng vendor o sa verified bot signal ng Cloudflare. Ang mga rule na user agent lang ang pinagkakatiwalaan ay nagpapapasok din sa sinumang kumokopya nito.
Naaapektuhan ba ng email obfuscation feature ng Cloudflare ang mga AI crawler?
Pinapalitan nito ang mga email address ng link na script lang ang nakakapag-decode, kaya placeholder sa halip na address ang nakikita ng mga crawler. Kung gusto mong mabasa ang contact email mo, i-off ang Email Address Obfuscation sa ilalim ng Scrape Shield at ipakita ang address bilang plain text.
Basahin ang buong gabay
Umiiral ang bot protection para pigilan ang mga scraper at pang-aabuso, at magaling ito roon. Ang problema, mga bot din ang mga AI search crawler. Isang security setting na binuksan ilang taon na ang nakalipas, isang rate limit, o isang malawak na rule laban sa mga hindi kilalang user agent ay puwedeng tahimik na humarang sa mga crawler na sumisipi sa iyo, habang mukhang ganap na normal ang sarili mong mga pagbisita.
Bakit iba-block ng firewall ang mga AI crawler?
Hinuhusgahan ng mga firewall ang bawat request. Hindi nagpapatakbo ng JavaScript challenge ang crawler, hindi nagtatago ng cookie gaya ng browser at madalas mag-request ng maraming pahina nang sunod-sunod, kaya puwede itong magmukhang eksaktong traffic na pinipigilan ng bot protection. Mga karaniwang dahilan:
- Mga bot protection feature na nagcha-challenge sa traffic na tugma sa mga kilalang pattern ng bot. Halimbawa, nagbibigay ang Bot Fight Mode ng Cloudflare ng mabibigat na computational challenge sa mga bot.
- Mga WAF custom rule na nagba-block o nagcha-challenge sa mga user agent na may mga salitang gaya ng "bot" o "crawler", o nagpapapasok lang sa maikling listahan ng mga search engine.
- Mga setting na nagba-block sa mga AI crawler bilang kategorya. Pinapayagan ka ng Cloudflare na magtakda ng mga patakaran para sa mga Search, Agent at Training crawler, at nalalapat sa lahat ng iyon ang setting na Block doon.
- Rate limiting na sumasagot ng 429 sa mabilis na sunod-sunod na request ng crawler.
- Mga block ayon sa bansa o ASN na nagkataong sumasaklaw sa mga network na pinagtatakbuhan ng mga crawler.
Paano ko makikilala ang block ng firewall mula sa block ng robots.txt?
Ang block ng robots.txt ay magalang na kahilingan: binabasa ng crawler ang mga rule mo at hindi kinukuha ang pahina. Ang block ng firewall ay isang sagot: nire-request ng crawler ang pahina at iba ang nakukuha nito. Direktang makikita mo ang pangalawang uri. I-request ang pahina nang dalawang beses, isa gamit ang user agent ng browser at isa gamit ang sa crawler, at ihambing.
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done Mga palatandaan ng block ng firewall: status 403, 429 o 503 para lang sa crawler; isang pahinang may pamagat na Just a moment... o Attention Required! | Cloudflare; isang body na may /cdn-cgi/challenge-platform; o isang 200 na sagot na mas maikli nang husto kaysa sa nakuha ng browser. Tandaan na galing ang test mo sa sarili mong IP, hindi sa beripikadong IP range ng crawler, kaya ipinapakita nito kung paano tinatrato ng firewall ang user agent, hindi ang bawat detalye kung paano nito tinatrato ang totoong crawler.
Paano ko papapasukin ang mga AI search crawler sa Cloudflare?
Inililista ng AI Crawl Control ng Cloudflare, na available sa lahat ng plan, ang mga AI crawler na bumibisita sa domain mo at hinahayaan kang magtakda ng action para sa bawat isa. Sa dashboard, buksan ang AI Crawl Control, pumunta sa listahan ng Crawlers at piliin ang Allow o Block sa column na Action para sa bawat crawler. Sinasabi ng Cloudflare na lumilikha o nag-a-update ang pag-block doon ng isang WAF custom rule sa zone mo.
Kung isang WAF custom rule, Super Bot Fight Mode o rate limiting ang nagba-block sa crawler, magdagdag ng custom rule na nilalaktawan ang mga feature na iyon para sa verified bots at para sa token ng crawler:
Security → WAF → Custom rules → Create rule
Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow Ilagay ang rule sa una. Tandaan na pinapalampas din ng pagtutugma sa user agent ang sinumang nagpepeke ng user agent na iyon. Kung kaya, mas piliin ang verified bot field (cf.client.bot) o ang mga IP range na inilalathala ng vendor.
Paano ang Bot Fight Mode?
Tahasang sinasabi ng dokumentasyon ng Cloudflare na hindi malalampasan o malalaktawan ang Bot Fight Mode gamit ang mga WAF custom rule o Page Rule. Kung ito ang feature na nagcha-challenge sa mga crawler, hindi makakatulong ang skip rule. Ang mga opsyon ay i-off ang Bot Fight Mode, o gamitin ang Super Bot Fight Mode sa plan na mayroon nito, na tumatakbo sa Ruleset Engine at sumusuporta sa mga skip rule.
Aling mga crawler ang dapat kong papasukin?
Paghiwalayin ang mga crawler ayon sa ginagawa nila. Ang mga search at user-fetch crawler ang nagpapasya kung mahahanap at masisipi ka ng mga sagot ng AI. Nangongolekta ng data para sa mga model ang mga training crawler, at lehitimong pagpili ang pag-block sa kanila na hindi nag-aalis sa iyo sa AI search.
- Search:
OAI-SearchBot,Claude-SearchBot,PerplexityBot,Googlebot,bingbot,Applebot. - Pagkuha ng user:
ChatGPT-User,Claude-User,Perplexity-User. - Training:
GPTBot,ClaudeBot,CCBot,meta-externalagent,Bytespider.
Ganito rin ang hati ng sariling mga setting ng patakaran ng Cloudflare sa Search, Agent at Training, kaya puwede mong payagan ang unang dalawa at hiwalay na magpasya sa pangatlo. Kung ibang firewall o CDN ang gamit mo, pareho ang prinsipyo: i-allowlist ang token ng crawler, beripikado ayon sa mga inilathalang IP range ng vendor o reverse DNS kung inaalok, para makuha nito ang parehong sagot na nakukuha ng browser.
Paano natutukoy ng AISeeWhy ang mga block ng firewall?
Nire-request ng AISeeWhy ang pahina mo bilang 14 na crawler at isang karaniwang browser, inihahambing ang status, laki at mga redirect, nakikilala ang mga challenge page at pinapangalanan ang firewall o CDN na sumagot. Kapag pinapayagan ng robots.txt ang isang crawler pero bina-block ito ng server, ipinapakita ng ulat ang salungatan at ibinibigay ang rule sa Cloudflare o ang hakbang sa allowlist para maayos ito.
Mga ayos para sa problemang ito
- Na-block ang probe namin, hindi tiyak ang resulta
- Naka-block ang OAI-SearchBot
- Nire-redirect sa ibang lugar ang GPTBot
- Pahinang pamalit ang nakukuha ng GPTBot
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- Pagsusuri ng IP ng AI crawler
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga pinagmulan
- Cloudflare: AI Crawl Control
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- Cloudflare: AI crawler and agent access policies
- OpenAI: Overview of OpenAI crawlers