Je, Cloudflare inazuia crawler za AI? Jinsi ya kujua na kurekebisha
Ona ndani ya sekunde 30 hivi kama Cloudflare au firewall nyingine inajibu crawler za AI kwa kizuizi, na upate sheria inayoruhusu zinazofaa.
Bure · Bila kujisajili · Matokeo kwa sekunde 30
403, 429 na kurasa za changamoto
Crawler zinaweza kupata kizuizi au ukurasa wa Just a moment... huku kivinjari chako kikipata ukurasa halisi. Ukurasa wako huombwa kwa njia zote mbili na tofauti huwekewa alama.
robots.txt dhidi ya firewall
Wakati robots.txt inaruhusu crawler lakini seva inaikataa, ripoti inaonyesha mgongano huo, hivyo unajua ni mpangilio upi wa kubadilisha.
Firewall, kwa jina
CDN au firewall iliyojibu hutajwa jina, ikiwemo Cloudflare, ili usilazimike kubahatisha pa kuangalia.
Sheria ya kutumia
Kila tatizo linakuja na suluhisho, kama sheria ya Cloudflare au hatua ya allowlist. Ukaguzi wa bure unaonyesha alama yako na tatizo la kwanza; ripoti kamili ni $29, mara moja tu.
Cloudflare na firewall nyingine zinaweza kujibu crawler za AI kwa 403, 429 au ukurasa wa changamoto wa "Just a moment..." huku vivinjari vikipata ukurasa halisi, hata robots.txt ikiiruhusu crawler. Kagua kwa kuomba ukurasa kwa user agent ya crawler, kisha ruhusu crawler za utafutaji wa AI katika AI Crawl Control au kwa sheria ya WAF ya skip.
Tafuta na urekebishe kwa hatua 3
- Omba ukurasa mara mbili
Mara moja kwa user agent ya kivinjari, mara moja kwa ya crawler. 403, 429 au 503 kwa crawler pekee, ukurasa wa
Just a moment..., au 200 fupi zaidi kwa kiasi kikubwa inamaanisha kizuizi cha firewall. - Ruhusu crawler za utafutaji
Kwenye Cloudflare, fungua AI Crawl Control, nenda kwenye orodha ya Crawlers na uweke Allow kwenye safu ya Action kwa crawler unazotaka, kama
OAI-SearchBot. - Ruka ulinzi mwingine ikihitajika
Kama sheria maalum ya WAF, Super Bot Fight Mode au rate limiting bado inazizuia, ongeza sheria, iliyowekwa ya kwanza, inayoruka vipengele hivyo kwa bot zilizothibitishwa. Pendelea sehemu ya verified bot au masafa ya IP yaliyochapishwa na mtoa huduma kuliko kulinganisha user agent.
Maswali yanayoulizwa mara kwa mara
Katika Cloudflare naweza kuona wapi crawler zipi za AI zimezuiwa?
Fungua AI Crawl Control kwenye dashibodi ya Cloudflare. Orodha yake ya crawler inaonyesha kila crawler ya AI ambayo Cloudflare imeiona kwenye kikoa chako, ilifanya maombi mangapi na kama hatua yake ni Allow au Block, na unaweza kubadilisha hatua hapo. Vipengele vingine, kama Bot Fight Mode, bado vinaweza kuzuia crawler uliyoiruhusu, kwa hivyo thibitisha matokeo kwa ombi linalotumia user agent ya crawler hiyo.
Je, Cloudflare huzuia crawler za AI kwa chaguo-msingi?
Inategemea akaunti yako, mpango na mipangilio katika zone yako, na Cloudflare imebadilisha chaguo hizi kwa muda. Kagua AI Crawl Control na mipangilio yako ya bot, na ujaribu kwa user agent ya crawler badala ya kukisia.
Kwa nini tovuti yangu inafanya kazi kwenye kivinjari lakini si kwa crawler?
Firewall hutathmini kila ombi. Kivinjari hupita changamoto za JavaScript na huhifadhi cookie; crawler haifanyi hivyo, kwa hivyo inaweza kupokea ukurasa wa changamoto au 403 ambayo wewe huoni kamwe.
Je, ni salama kuruhusu crawler za AI kupita kwenye WAF?
Kuruhusu crawler yenye jina kuna hatari ndogo ukiithibitisha kwa masafa ya IP ya mtoa huduma au ishara ya verified bot ya Cloudflare. Sheria zinazoamini user agent pekee pia zinamruhusu yeyote anayeinakili.
Je, kipengele cha Cloudflare cha kuficha barua pepe kinaathiri crawler za AI?
Hubadilisha anwani za barua pepe kuwa kiungo ambacho skripti pekee inaweza kukifumbua, kwa hivyo crawler huona kishikilia nafasi badala ya anwani. Ukitaka barua pepe yako ya mawasiliano isomeke, zima Email Address Obfuscation chini ya Scrape Shield na uonyeshe anwani kama maandishi ya kawaida.
Soma mwongozo kamili
Ulinzi dhidi ya bot upo ili kusimamisha scraper na matumizi mabaya, na unafanya hivyo vizuri. Tatizo ni kwamba crawler za utafutaji wa AI nazo ni bot. Mpangilio wa usalama uliowashwa miaka iliyopita, kikomo cha kasi, au sheria pana dhidi ya user agent zisizojulikana vinaweza kuzizuia kimyakimya crawler zinazokunukuu, huku ziara zako mwenyewe zikionekana kawaida kabisa.
Kwa nini firewall izuie crawler za AI?
Firewall hutathmini kila ombi. Crawler haiendeshi changamoto za JavaScript, haihifadhi cookie kama kivinjari na mara nyingi huomba kurasa nyingi mfululizo, kwa hivyo inaweza kuonekana sawasawa na trafiki ambayo ulinzi dhidi ya bot umejengwa kusimamisha. Sababu za kawaida ni:
- Vipengele vya ulinzi dhidi ya bot vinavyotoa changamoto kwa trafiki inayolingana na mitindo inayojulikana ya bot. Bot Fight Mode ya Cloudflare, kwa mfano, hutoa changamoto zinazohitaji hesabu nzito kwa bot.
- WAF custom rules zinazozuia au kutoa changamoto kwa user agent zenye maneno kama "bot" au "crawler", au zinazoruhusu orodha fupi tu ya injini za utafutaji.
- Mipangilio inayozuia crawler za AI kama kundi. Cloudflare inakuruhusu kuweka sera kwa crawler za Search, Agent na Training, na mpangilio wa Block hapo unatumika kwa zote.
- Kikomo cha kasi kinachojibu mfululizo wa haraka wa maombi ya crawler kwa 429.
- Vizuizi vya nchi au ASN vinavyotokea kuhusisha mitandao ambayo crawler huendeshwa kutoka kwayo.
Ninatofautishaje kizuizi cha firewall na kizuizi cha robots.txt?
Kizuizi cha robots.txt ni ombi la heshima: crawler husoma sheria zako na haipakui ukurasa. Kizuizi cha firewall ni jibu: crawler huomba ukurasa na hupata kitu kingine. Unaweza kuona aina ya pili moja kwa moja. Omba ukurasa mara mbili, mara moja kwa user agent ya kivinjari na mara moja kwa ya crawler, na ulinganishe.
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done Dalili za kizuizi cha firewall: hali 403, 429 au 503 kwa crawler pekee; ukurasa wenye kichwa Just a moment... au Attention Required! | Cloudflare; maudhui yenye /cdn-cgi/challenge-platform; au jibu la 200 lililo fupi sana kuliko la kivinjari. Kumbuka kwamba jaribio lako linatoka kwenye IP yako, si kwenye masafa ya IP yaliyothibitishwa ya crawler, kwa hivyo linaonyesha jinsi firewall inavyoshughulikia user agent, si kila undani wa jinsi inavyoshughulikia crawler halisi.
Ninaruhusuje crawler za utafutaji wa AI katika Cloudflare?
AI Crawl Control ya Cloudflare, inayopatikana kwenye mipango yote, huorodhesha crawler za AI zinazotembelea kikoa chako na hukuruhusu kuweka kitendo kwa kila moja. Kwenye dashibodi, fungua AI Crawl Control, nenda kwenye orodha ya Crawlers na uchague Allow au Block katika safu ya Action kwa kila crawler. Cloudflare inasema kuzuia hapo huunda au husasisha WAF custom rule kwenye zone yako.
Kama ni WAF custom rule, Super Bot Fight Mode au kikomo cha kasi kinachozuia crawler, ongeza custom rule inayoruka vipengele hivyo kwa verified bots na kwa tokeni ya crawler:
Security → WAF → Custom rules → Create rule
Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow Weka sheria hii kwanza. Kumbuka kwamba kulinganisha kwa user agent pia kunamruhusu yeyote anayeigiza user agent hiyo. Pale unapoweza, pendelea sehemu ya verified bot (cf.client.bot) au masafa ya IP ambayo mtoa huduma huchapisha.
Vipi kuhusu Bot Fight Mode?
Nyaraka za Cloudflare zinasema waziwazi kwamba Bot Fight Mode haiwezi kukwepwa wala kurukwa kwa WAF custom rules au Page Rules. Kama ndicho kipengele kinachotoa changamoto kwa crawler, sheria ya skip haitasaidia. Chaguo ni kuzima Bot Fight Mode, au kutumia Super Bot Fight Mode kwenye mpango ulio nayo, ambayo huendeshwa kwenye Ruleset Engine na inaauni sheria za skip.
Niziruhusu crawler zipi kupita?
Tenganisha crawler kwa kile zinachofanya. Crawler za utafutaji na za upakuaji kwa watumiaji huamua kama majibu ya AI yanaweza kukupata na kukunukuu. Crawler za mafunzo hukusanya data kwa ajili ya miundo, na kuzizuia ni chaguo halali ambalo halikuondoi kwenye utafutaji wa AI.
- Utafutaji:
OAI-SearchBot,Claude-SearchBot,PerplexityBot,Googlebot,bingbot,Applebot. - Upakuaji kwa watumiaji:
ChatGPT-User,Claude-User,Perplexity-User. - Mafunzo:
GPTBot,ClaudeBot,CCBot,meta-externalagent,Bytespider.
Mipangilio ya sera ya Cloudflare yenyewe hutumia mgawanyiko uleule wa Search, Agent na Training, kwa hivyo unaweza kuruhusu mbili za kwanza na kuamua kando kuhusu ya tatu. Ukitumia firewall au CDN nyingine, kanuni ni ileile: weka tokeni ya crawler kwenye orodha ya kuruhusiwa, ikithibitishwa kwa masafa ya IP yaliyochapishwa na mtoa huduma au reverse DNS pale inapotolewa, ili ipate jibu lilelile kama kivinjari.
AISeeWhy hugundua vipi vizuizi vya firewall?
AISeeWhy huomba ukurasa wako kama crawler 14 na kivinjari cha kawaida, hulinganisha hali, ukubwa na uelekezaji, hutambua kurasa za changamoto na hutaja firewall au CDN iliyojibu. robots.txt ikiruhusu crawler lakini seva ikiizuia, ripoti inaonyesha mgongano huo na inatoa sheria ya Cloudflare au hatua ya orodha ya kuruhusiwa ili kuurekebisha.
Marekebisho ya tatizo hili
- Jaribio letu lilizuiwa, matokeo hayana uhakika
- OAI-SearchBot imezuiwa
- GPTBot inaelekezwa kwingine
- GPTBot inapata ukurasa bandia
Hatua zinazofuata
- Kikagua na kijaribu cha robots.txt kwa crawler za AI
- Ukaguzi wa IP ya crawler za AI
- Tazama mfano wa ripoti kamili
- Ufuatiliaji wa crawler za AI
- Mipango na bei
Crawler katika makala hii
Vyanzo
- Cloudflare: AI Crawl Control
- Cloudflare: Kudhibiti crawler za AI (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- Cloudflare: Sera za ufikiaji kwa crawler na mawakala wa AI
- OpenAI: Muhtasari wa crawler za OpenAI