Je, Cloudflare inazuia crawler za AI? Jinsi ya kujua na kurekebisha

Ona ndani ya sekunde 30 hivi kama Cloudflare au firewall nyingine inajibu crawler za AI kwa kizuizi, na upate sheria inayoruhusu zinazofaa.

Bure · Bila kujisajili · Matokeo kwa sekunde 30

403, 429 na kurasa za changamoto

Crawler zinaweza kupata kizuizi au ukurasa wa Just a moment... huku kivinjari chako kikipata ukurasa halisi. Ukurasa wako huombwa kwa njia zote mbili na tofauti huwekewa alama.

robots.txt dhidi ya firewall

Wakati robots.txt inaruhusu crawler lakini seva inaikataa, ripoti inaonyesha mgongano huo, hivyo unajua ni mpangilio upi wa kubadilisha.

Firewall, kwa jina

CDN au firewall iliyojibu hutajwa jina, ikiwemo Cloudflare, ili usilazimike kubahatisha pa kuangalia.

Sheria ya kutumia

Kila tatizo linakuja na suluhisho, kama sheria ya Cloudflare au hatua ya allowlist. Ukaguzi wa bure unaonyesha alama yako na tatizo la kwanza; ripoti kamili ni $29, mara moja tu.

Jibu fupi

Cloudflare na firewall nyingine zinaweza kujibu crawler za AI kwa 403, 429 au ukurasa wa changamoto wa "Just a moment..." huku vivinjari vikipata ukurasa halisi, hata robots.txt ikiiruhusu crawler. Kagua kwa kuomba ukurasa kwa user agent ya crawler, kisha ruhusu crawler za utafutaji wa AI katika AI Crawl Control au kwa sheria ya WAF ya skip.

Tafuta na urekebishe kwa hatua 3

  1. Omba ukurasa mara mbili

    Mara moja kwa user agent ya kivinjari, mara moja kwa ya crawler. 403, 429 au 503 kwa crawler pekee, ukurasa wa Just a moment..., au 200 fupi zaidi kwa kiasi kikubwa inamaanisha kizuizi cha firewall.

  2. Ruhusu crawler za utafutaji

    Kwenye Cloudflare, fungua AI Crawl Control, nenda kwenye orodha ya Crawlers na uweke Allow kwenye safu ya Action kwa crawler unazotaka, kama OAI-SearchBot.

  3. Ruka ulinzi mwingine ikihitajika

    Kama sheria maalum ya WAF, Super Bot Fight Mode au rate limiting bado inazizuia, ongeza sheria, iliyowekwa ya kwanza, inayoruka vipengele hivyo kwa bot zilizothibitishwa. Pendelea sehemu ya verified bot au masafa ya IP yaliyochapishwa na mtoa huduma kuliko kulinganisha user agent.

Maswali yanayoulizwa mara kwa mara

Katika Cloudflare naweza kuona wapi crawler zipi za AI zimezuiwa?

Fungua AI Crawl Control kwenye dashibodi ya Cloudflare. Orodha yake ya crawler inaonyesha kila crawler ya AI ambayo Cloudflare imeiona kwenye kikoa chako, ilifanya maombi mangapi na kama hatua yake ni Allow au Block, na unaweza kubadilisha hatua hapo. Vipengele vingine, kama Bot Fight Mode, bado vinaweza kuzuia crawler uliyoiruhusu, kwa hivyo thibitisha matokeo kwa ombi linalotumia user agent ya crawler hiyo.

Je, Cloudflare huzuia crawler za AI kwa chaguo-msingi?

Inategemea akaunti yako, mpango na mipangilio katika zone yako, na Cloudflare imebadilisha chaguo hizi kwa muda. Kagua AI Crawl Control na mipangilio yako ya bot, na ujaribu kwa user agent ya crawler badala ya kukisia.

Kwa nini tovuti yangu inafanya kazi kwenye kivinjari lakini si kwa crawler?

Firewall hutathmini kila ombi. Kivinjari hupita changamoto za JavaScript na huhifadhi cookie; crawler haifanyi hivyo, kwa hivyo inaweza kupokea ukurasa wa changamoto au 403 ambayo wewe huoni kamwe.

Je, ni salama kuruhusu crawler za AI kupita kwenye WAF?

Kuruhusu crawler yenye jina kuna hatari ndogo ukiithibitisha kwa masafa ya IP ya mtoa huduma au ishara ya verified bot ya Cloudflare. Sheria zinazoamini user agent pekee pia zinamruhusu yeyote anayeinakili.

Je, kipengele cha Cloudflare cha kuficha barua pepe kinaathiri crawler za AI?

Hubadilisha anwani za barua pepe kuwa kiungo ambacho skripti pekee inaweza kukifumbua, kwa hivyo crawler huona kishikilia nafasi badala ya anwani. Ukitaka barua pepe yako ya mawasiliano isomeke, zima Email Address Obfuscation chini ya Scrape Shield na uonyeshe anwani kama maandishi ya kawaida.

Soma mwongozo kamili

Ulinzi dhidi ya bot upo ili kusimamisha scraper na matumizi mabaya, na unafanya hivyo vizuri. Tatizo ni kwamba crawler za utafutaji wa AI nazo ni bot. Mpangilio wa usalama uliowashwa miaka iliyopita, kikomo cha kasi, au sheria pana dhidi ya user agent zisizojulikana vinaweza kuzizuia kimyakimya crawler zinazokunukuu, huku ziara zako mwenyewe zikionekana kawaida kabisa.

Kwa nini firewall izuie crawler za AI?

Firewall hutathmini kila ombi. Crawler haiendeshi changamoto za JavaScript, haihifadhi cookie kama kivinjari na mara nyingi huomba kurasa nyingi mfululizo, kwa hivyo inaweza kuonekana sawasawa na trafiki ambayo ulinzi dhidi ya bot umejengwa kusimamisha. Sababu za kawaida ni:

  • Vipengele vya ulinzi dhidi ya bot vinavyotoa changamoto kwa trafiki inayolingana na mitindo inayojulikana ya bot. Bot Fight Mode ya Cloudflare, kwa mfano, hutoa changamoto zinazohitaji hesabu nzito kwa bot.
  • WAF custom rules zinazozuia au kutoa changamoto kwa user agent zenye maneno kama "bot" au "crawler", au zinazoruhusu orodha fupi tu ya injini za utafutaji.
  • Mipangilio inayozuia crawler za AI kama kundi. Cloudflare inakuruhusu kuweka sera kwa crawler za Search, Agent na Training, na mpangilio wa Block hapo unatumika kwa zote.
  • Kikomo cha kasi kinachojibu mfululizo wa haraka wa maombi ya crawler kwa 429.
  • Vizuizi vya nchi au ASN vinavyotokea kuhusisha mitandao ambayo crawler huendeshwa kutoka kwayo.

Ninatofautishaje kizuizi cha firewall na kizuizi cha robots.txt?

Kizuizi cha robots.txt ni ombi la heshima: crawler husoma sheria zako na haipakui ukurasa. Kizuizi cha firewall ni jibu: crawler huomba ukurasa na hupata kitu kingine. Unaweza kuona aina ya pili moja kwa moja. Omba ukurasa mara mbili, mara moja kwa user agent ya kivinjari na mara moja kwa ya crawler, na ulinganishe.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Dalili za kizuizi cha firewall: hali 403, 429 au 503 kwa crawler pekee; ukurasa wenye kichwa Just a moment... au Attention Required! | Cloudflare; maudhui yenye /cdn-cgi/challenge-platform; au jibu la 200 lililo fupi sana kuliko la kivinjari. Kumbuka kwamba jaribio lako linatoka kwenye IP yako, si kwenye masafa ya IP yaliyothibitishwa ya crawler, kwa hivyo linaonyesha jinsi firewall inavyoshughulikia user agent, si kila undani wa jinsi inavyoshughulikia crawler halisi.

Ninaruhusuje crawler za utafutaji wa AI katika Cloudflare?

AI Crawl Control ya Cloudflare, inayopatikana kwenye mipango yote, huorodhesha crawler za AI zinazotembelea kikoa chako na hukuruhusu kuweka kitendo kwa kila moja. Kwenye dashibodi, fungua AI Crawl Control, nenda kwenye orodha ya Crawlers na uchague Allow au Block katika safu ya Action kwa kila crawler. Cloudflare inasema kuzuia hapo huunda au husasisha WAF custom rule kwenye zone yako.

Kama ni WAF custom rule, Super Bot Fight Mode au kikomo cha kasi kinachozuia crawler, ongeza custom rule inayoruka vipengele hivyo kwa verified bots na kwa tokeni ya crawler:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Weka sheria hii kwanza. Kumbuka kwamba kulinganisha kwa user agent pia kunamruhusu yeyote anayeigiza user agent hiyo. Pale unapoweza, pendelea sehemu ya verified bot (cf.client.bot) au masafa ya IP ambayo mtoa huduma huchapisha.

Vipi kuhusu Bot Fight Mode?

Nyaraka za Cloudflare zinasema waziwazi kwamba Bot Fight Mode haiwezi kukwepwa wala kurukwa kwa WAF custom rules au Page Rules. Kama ndicho kipengele kinachotoa changamoto kwa crawler, sheria ya skip haitasaidia. Chaguo ni kuzima Bot Fight Mode, au kutumia Super Bot Fight Mode kwenye mpango ulio nayo, ambayo huendeshwa kwenye Ruleset Engine na inaauni sheria za skip.

Niziruhusu crawler zipi kupita?

Tenganisha crawler kwa kile zinachofanya. Crawler za utafutaji na za upakuaji kwa watumiaji huamua kama majibu ya AI yanaweza kukupata na kukunukuu. Crawler za mafunzo hukusanya data kwa ajili ya miundo, na kuzizuia ni chaguo halali ambalo halikuondoi kwenye utafutaji wa AI.

  • Utafutaji: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • Upakuaji kwa watumiaji: ChatGPT-User, Claude-User, Perplexity-User.
  • Mafunzo: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Mipangilio ya sera ya Cloudflare yenyewe hutumia mgawanyiko uleule wa Search, Agent na Training, kwa hivyo unaweza kuruhusu mbili za kwanza na kuamua kando kuhusu ya tatu. Ukitumia firewall au CDN nyingine, kanuni ni ileile: weka tokeni ya crawler kwenye orodha ya kuruhusiwa, ikithibitishwa kwa masafa ya IP yaliyochapishwa na mtoa huduma au reverse DNS pale inapotolewa, ili ipate jibu lilelile kama kivinjari.

AISeeWhy hugundua vipi vizuizi vya firewall?

AISeeWhy huomba ukurasa wako kama crawler 14 na kivinjari cha kawaida, hulinganisha hali, ukubwa na uelekezaji, hutambua kurasa za changamoto na hutaja firewall au CDN iliyojibu. robots.txt ikiruhusu crawler lakini seva ikiizuia, ripoti inaonyesha mgongano huo na inatoa sheria ya Cloudflare au hatua ya orodha ya kuruhusiwa ili kuurekebisha.

Marekebisho ya tatizo hili

Zana za bure

Hatua zinazofuata

Crawler katika makala hii

Vyanzo

Makala zaidi

Imechapishwa · Imesasishwa