Ar Cloudflare blokuoja DI robotus? Kaip tai nustatyti ir ištaisyti

Maždaug per 30 sekundžių pamatykite, ar Cloudflare ar kita ugniasienė DI robotams atsako blokavimu, ir gaukite taisyklę, kuri įleidžia reikiamus.

Nemokamai · Be registracijos · Rezultatas per 30 sekundžių

403, 429 ir patikrinimo puslapiai

Robotai gali gauti blokavimą ar puslapį Just a moment..., o jūsų naršyklė gauna tikrąjį. Puslapis užklausiamas abiem būdais ir skirtumas pažymimas.

robots.txt prieš ugniasienę

Kai robots.txt robotą leidžia, bet serveris jį atmeta, ataskaita parodo konfliktą, tad žinote, kurį nustatymą keisti.

Įvardyta ugniasienė

Atsakęs CDN ar ugniasienė įvardijama, įskaitant Cloudflare, tad nereikia spėlioti, kur ieškoti.

Taikytina taisyklė

Prie kiekvieno radinio pateikiamas sprendimas, pavyzdžiui, Cloudflare taisyklė ar leidimų sąrašo žingsnis. Nemokamas patikrinimas parodo jūsų įvertį ir pirmą radinį; pilna ataskaita kainuoja $29, vienkartinis mokestis.

Trumpas atsakymas

Cloudflare ir kitos ugniasienės gali atsakyti DI robotams 403, 429 ar patikrinimo puslapiu „Just a moment...“, o naršyklės gauna tikrą puslapį, net kai robots.txt robotą leidžia. Patikrinkite paprašydami puslapio su roboto user agent, tada įleiskite DI paieškos robotus per AI Crawl Control arba su WAF skip taisykle.

Raskite ir ištaisykite per 3 žingsnius

  1. Paprašykite puslapio du kartus

    Kartą su naršyklės user agent, kartą su roboto. 403, 429 ar 503 tik robotui, puslapis Just a moment... ar gerokai trumpesnis 200 reiškia ugniasienės blokavimą.

  2. Leiskite paieškos robotus

    Cloudflare atidarykite AI Crawl Control, eikite į robotų sąrašą ir stulpelyje Action nustatykite Allow norimiems robotams, pavyzdžiui, OAI-SearchBot.

  3. Prireikus apeikite kitas apsaugas

    Jei juos vis dar blokuoja WAF custom rule, Super Bot Fight Mode ar užklausų ribojimas, pridėkite taisyklę, pastatytą pirmą, kuri tų funkcijų netaiko patvirtintiems robotams. Verčiau rinkitės patvirtinto roboto lauką ar tiekėjo paskelbtus IP intervalus nei user agent atitikimą.

Dažniausiai užduodami klausimai

Kur Cloudflare galiu pamatyti, kurie DI robotai blokuojami?

Cloudflare skydelyje atidarykite AI Crawl Control. Jo robotų sąraše matyti kiekvienas DI robotas, kurį Cloudflare užfiksavo jūsų domene, kiek užklausų jis pateikė ir ar jo veiksmas yra Allow, ar Block, o veiksmą ten pat galite pakeisti. Kitos funkcijos, pvz., Bot Fight Mode, vis tiek gali blokuoti robotą, kurį leidote, todėl rezultatą patvirtinkite užklausa su to roboto user agent.

Ar Cloudflare pagal numatytuosius nustatymus blokuoja DI robotus?

Tai priklauso nuo jūsų paskyros, plano ir zonos nustatymų, o Cloudflare šias parinktis laikui bėgant keitė. Užuot spėlioję, patikrinkite AI Crawl Control ir robotų nustatymus ir išbandykite su roboto user agent.

Kodėl mano svetainė veikia naršyklėje, bet ne robotams?

Ugniasienės vertina kiekvieną užklausą. Naršyklė įveikia JavaScript patikrinimus ir saugo slapukus, o robotas – ne, todėl jis gali gauti patikrinimo puslapį ar 403, kurių jūs niekada nematote.

Ar saugu praleisti DI robotus pro WAF?

Įvardyto roboto įleidimas mažai rizikingas, jei jį patvirtinate pagal tiekėjo IP intervalus arba Cloudflare patvirtinto roboto signalą. Taisyklės, pasitikinčios vien user agent, įleidžia ir kiekvieną, kas jį nukopijuoja.

Ar Cloudflare el. pašto užmaskavimo funkcija paveikia DI robotus?

Ji pakeičia el. pašto adresus nuoroda, kurią iššifruoja tik skriptas, todėl robotai vietoj adreso mato pakaitalą. Jei norite, kad kontaktinis el. paštas būtų skaitomas, Scrape Shield skiltyje išjunkite Email Address Obfuscation ir rodykite adresą kaip paprastą tekstą.

Skaitykite visą vadovą

Apsauga nuo robotų skirta sustabdyti duomenų rinkimo įrankius ir piktnaudžiavimą, ir ji tai daro gerai. Bėda ta, kad DI paieškos robotai taip pat yra robotai. Prieš daug metų įjungtas saugumo nustatymas, užklausų ribojimas ar plati taisyklė prieš nežinomus user agent gali tyliai neįleisti robotų, kurie jus cituoja, o jūsų pačių apsilankymai atrodo visiškai įprastai.

Kodėl ugniasienė blokuotų DI robotus?

Ugniasienės vertina kiekvieną užklausą. Robotas nesprendžia JavaScript patikrinimų, nesaugo slapukų kaip naršyklė ir dažnai prašo daug puslapių iš eilės, todėl gali atrodyti lygiai kaip srautas, kuriam sustabdyti apsauga nuo robotų ir sukurta. Dažnos priežastys:

  • Apsaugos nuo robotų funkcijos, tikrinančios srautą, atitinkantį žinomus robotų modelius. Pavyzdžiui, Cloudflare Bot Fight Mode robotams pateikia daug skaičiavimų reikalaujančius patikrinimus.
  • WAF custom rules, blokuojančios ar tikrinančios user agent su žodžiais „bot“ ar „crawler“ arba įleidžiančios tik trumpą paieškos sistemų sąrašą.
  • Nustatymai, blokuojantys DI robotus kaip kategoriją. Cloudflare leidžia nustatyti politikas Search, Agent ir Training robotams, ir nustatymas Block ten taikomas jiems visiems.
  • Užklausų ribojimas, atsakantis 429 į greitą roboto užklausų seką.
  • Šalių ar ASN blokavimas, atsitiktinai apimantis tinklus, iš kurių veikia robotai.

Kaip atskirti ugniasienės blokavimą nuo robots.txt blokavimo?

robots.txt blokavimas yra mandagus prašymas: robotas perskaito jūsų taisykles ir puslapio neatsisiunčia. Ugniasienės blokavimas yra atsakymas: robotas prašo puslapio ir gauna kažką kita. Antrąjį atvejį galima pamatyti tiesiogiai. Paprašykite puslapio dukart – kartą su naršyklės user agent, kartą su roboto – ir palyginkite.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Ugniasienės blokavimo požymiai: būsena 403, 429 ar 503 tik robotui; puslapis pavadinimu Just a moment... arba Attention Required! | Cloudflare; turinys, kuriame yra /cdn-cgi/challenge-platform; arba atsakymas 200, daug trumpesnis nei naršyklės. Atminkite, kad jūsų testas siunčiamas iš jūsų pačių IP, o ne iš patvirtinto roboto IP intervalo, todėl jis rodo, kaip ugniasienė elgiasi su user agent, o ne visas detales, kaip ji elgiasi su tikru robotu.

Kaip Cloudflare įleisti DI paieškos robotus?

Cloudflare AI Crawl Control, prieinamas visuose planuose, rodo DI robotus, lankančius jūsų domeną, ir leidžia kiekvienam nustatyti veiksmą. Valdymo skydelyje atidarykite AI Crawl Control, eikite į Crawlers sąrašą ir stulpelyje Action kiekvienam robotui pasirinkite Allow arba Block. Cloudflare teigia, kad blokavimas ten sukuria arba atnaujina WAF custom rule jūsų zonoje.

Jei robotą blokuoja WAF custom rule, Super Bot Fight Mode ar užklausų ribojimas, pridėkite custom rule, kuri patvirtintiems robotams ir roboto žymeniui praleidžia šias funkcijas:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Dėkite taisyklę pirmą. Atminkite, kad tikrinant user agent praleidžiamas ir kiekvienas, kas tą user agent suklastoja. Kur įmanoma, teikite pirmenybę patvirtinto roboto laukui (cf.client.bot) arba tiekėjo skelbiamiems IP intervalams.

O kaip Bot Fight Mode?

Cloudflare dokumentacijoje aiškiai rašoma, kad Bot Fight Mode negalima apeiti ar praleisti su WAF custom rules ar Page Rules. Jei robotus tikrina būtent ši funkcija, skip taisyklė nepadės. Galimybės: išjungti Bot Fight Mode arba naudoti Super Bot Fight Mode plane, kuriame jis yra – jis veikia Ruleset Engine pagrindu ir palaiko skip taisykles.

Kuriuos robotus praleisti?

Skirstykite robotus pagal tai, ką jie daro. Paieškos ir naudotojų užklausų robotai lemia, ar DI atsakymai gali jus rasti ir cituoti. Mokymo robotai renka duomenis modeliams, ir jų blokavimas yra teisėtas pasirinkimas, nepašalinantis jūsų iš DI paieškos.

  • Paieška: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • Naudotojų užklausos: ChatGPT-User, Claude-User, Perplexity-User.
  • Mokymas: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Paties Cloudflare politikos nustatymuose naudojamas tas pats skirstymas į Search, Agent ir Training, todėl pirmas dvi grupes galite įleisti, o dėl trečios spręsti atskirai. Jei naudojate kitą ugniasienę ar CDN, principas tas pats: įtraukite roboto žymenį į leidžiamųjų sąrašą, patvirtintą tiekėjo paskelbtais IP intervalais ar atvirkštiniu DNS, kai tai siūloma, kad jis gautų tą patį atsakymą kaip naršyklė.

Kaip AISeeWhy aptinka ugniasienės blokavimą?

AISeeWhy prašo jūsų puslapio kaip 14 robotų ir įprasta naršyklė, palygina būseną, dydį ir peradresavimus, atpažįsta patikrinimo puslapius ir įvardija atsakiusią ugniasienę ar CDN. Kai robots.txt robotą leidžia, bet serveris jį blokuoja, ataskaita parodo šį prieštaravimą ir pateikia Cloudflare taisyklę ar leidžiamųjų sąrašo žingsnį jam ištaisyti.

Šios problemos pataisymai

Nemokami įrankiai

Kiti žingsniai

Šiame straipsnyje minimi robotai

Šaltiniai

Daugiau straipsnių

Paskelbta · Atnaujinta