Ali Cloudflare blokira pajke UI? Kako to ugotoviti in popraviti

V približno 30 sekundah preverite, ali Cloudflare ali drug požarni zid pajkom UI odgovarja z blokado, in dobite pravilo, ki prave spusti skozi.

Brezplačno · Brez registracije · Rezultat v 30 sekundah

Napake 403, 429 in strani z izzivom

Pajki lahko dobijo blokado ali stran Just a moment..., medtem ko vaš brskalnik dobi pravo stran. Stran se zahteva na oba načina, razlika pa je označena.

robots.txt proti požarnemu zidu

Ko robots.txt pajka dovoljuje, strežnik pa ga zavrne, poročilo prikaže konflikt, tako da veste, katero nastavitev spremeniti.

Požarni zid z imenom

CDN ali požarni zid, ki je odgovoril, je imenovan, vključno s Cloudflare, tako da vam ni treba ugibati, kje iskati.

Pravilo, ki ga uporabite

Vsaka ugotovitev vsebuje popravek, na primer pravilo za Cloudflare ali korak z dovolilnim seznamom. Brezplačno preverjanje prikaže vašo oceno in prvo ugotovitev; celotno poročilo stane $29, enkratno.

Kratek odgovor

Cloudflare in drugi požarni zidovi lahko pajkom UI odgovorijo z napako 403, 429 ali s stranjo z izzivom „Just a moment...“, brskalniki pa dobijo pravo stran, tudi ko robots.txt pajka dovoljuje. Preverite to tako, da stran zahtevate z user agentom pajka, nato pajke za iskanje z UI dovolite v AI Crawl Control ali s pravilom WAF za preskok.

Poiščite in popravite v 3 korakih

  1. Zahtevajte stran dvakrat

    Enkrat z user agentom brskalnika, enkrat z user agentom pajka. Napaka 403, 429 ali 503 samo za pajka, stran Just a moment... ali precej krajši 200 pomeni blokado požarnega zidu.

  2. Dovolite pajke za iskanje

    V Cloudflare odprite AI Crawl Control, pojdite na seznam Crawlers in v stolpcu Action nastavite Allow za pajke, ki jih želite, na primer OAI-SearchBot.

  3. Po potrebi preskočite druge zaščite

    Če jih še vedno blokira lastno pravilo WAF, Super Bot Fight Mode ali omejevanje hitrosti, dodajte pravilo, postavljeno na prvo mesto, ki te funkcije preskoči za preverjene bote. Raje uporabite polje verified bot ali objavljene obsege IP ponudnika kot ujemanje user agenta.

Pogosta vprašanja

Kje v Cloudflare vidim, kateri pajki UI so blokirani?

V nadzorni plošči Cloudflare odprite AI Crawl Control. Njegov seznam pajkov prikazuje vsakega pajka UI, ki ga je Cloudflare videl na vaši domeni, koliko zahtev je poslal in ali je njegovo dejanje Allow ali Block, dejanje pa lahko tam tudi spremenite. Druge funkcije, kot je Bot Fight Mode, lahko še vedno blokirajo pajka, ki ste ga dovolili, zato rezultat potrdite z zahtevo, ki uporablja user agent pajka.

Ali Cloudflare privzeto blokira pajke UI?

Odvisno je od vašega računa, paketa in nastavitev v vaši coni, Cloudflare pa je te možnosti sčasoma spreminjal. Preverite AI Crawl Control in nastavitve za bote ter preizkusite z user agentom pajka, namesto da bi stanje predpostavljali.

Zakaj moje mesto deluje v brskalniku, za pajke pa ne?

Požarni zidovi presojajo vsako zahtevo. Brskalnik opravi izzive JavaScript in hrani piškotke, pajek pa ne, zato lahko dobi stran z izzivom ali napako 403, ki je vi nikoli ne vidite.

Ali je varno pajke UI spustiti skozi WAF?

Dovoliti poimenovanega pajka je malo tvegano, če ga preverite po obsegih IP ponudnika ali s Cloudflarovim signalom preverjenega bota. Pravila, ki zaupajo samo user agentu, spustijo noter tudi vsakogar, ki ga kopira.

Ali Cloudflarova funkcija zakrivanja e-poštnih naslovov vpliva na pajke UI?

E-poštne naslove nadomesti s povezavo, ki jo dekodira samo skript, zato pajki namesto naslova vidijo nadomestno besedilo. Če želite, da je vaš kontaktni e-poštni naslov berljiv, v Scrape Shield izklopite Email Address Obfuscation in naslov prikažite kot navadno besedilo.

Preberite celoten vodnik

Zaščita pred boti je namenjena ustavljanju strgalnikov in zlorab in to dobro opravlja. Težava je v tem, da so tudi pajki za iskanje z UI boti. Varnostna nastavitev, vklopljena pred leti, omejitev zahtev ali široko pravilo proti neznanim user agentom lahko tiho zaustavi pajke, ki vas citirajo, medtem ko so vaši lastni obiski videti povsem normalni.

Zakaj bi požarni zid blokiral pajke UI?

Požarni zidovi presojajo vsako zahtevo. Pajek ne izvaja izzivov JavaScript, ne hrani piškotkov kot brskalnik in pogosto zahteva veliko strani zapored, zato je lahko videti natanko kot promet, ki ga mora zaščita pred boti ustaviti. Pogosti vzroki so:

  • Funkcije zaščite pred boti, ki postavljajo izzive prometu, ki ustreza znanim vzorcem botov. Cloudflarov Bot Fight Mode na primer botom postavlja računsko zahtevne izzive.
  • Prilagojena pravila WAF, ki blokirajo user agente z besedami, kot sta „bot“ ali „crawler“, ali jim postavljajo izzive, ali pa dovolijo samo kratek seznam iskalnikov.
  • Nastavitve, ki pajke UI blokirajo kot kategorijo. Cloudflare omogoča pravilnike za pajke Search, Agent in Training, nastavitev Block tam pa velja za vse.
  • Omejevanje zahtev, ki hitremu zaporedju zahtev pajka odgovori z 429.
  • Blokade po državah ali ASN, ki slučajno zajamejo omrežja, iz katerih delujejo pajki.

Kako ločim blokado požarnega zidu od blokade v robots.txt?

Blokada v robots.txt je vljudna prošnja: pajek prebere vaša pravila in strani ne prenese. Blokada požarnega zidu je odgovor: pajek stran zahteva in dobi nekaj drugega. Drugo vrsto lahko vidite neposredno. Stran zahtevajte dvakrat, enkrat z user agentom brskalnika in enkrat z user agentom pajka, in primerjajte.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Znaki blokade požarnega zidu: status 403, 429 ali 503 samo za pajka; stran z naslovom Just a moment... ali Attention Required! | Cloudflare; vsebina, ki vsebuje /cdn-cgi/challenge-platform; ali odgovor 200, ki je precej krajši od tistega za brskalnik. Ne pozabite, da vaš preizkus prihaja z vašega naslova IP, ne s preverjenega obsega IP pajka, zato pokaže, kako požarni zid obravnava user agent, ne pa vsake podrobnosti tega, kako obravnava pravega pajka.

Kako v Cloudflaru dovolim pajke za iskanje z UI?

Cloudflarov AI Crawl Control, na voljo v vseh paketih, navaja pajke UI, ki obiskujejo vašo domeno, in za vsakega omogoča nastaviti dejanje. Na nadzorni plošči odprite AI Crawl Control, pojdite na seznam Crawlers in v stolpcu Action za vsakega pajka izberite Allow ali Block. Cloudflare pravi, da blokiranje tam ustvari ali posodobi prilagojeno pravilo WAF v vaši coni.

Če pajka blokira prilagojeno pravilo WAF, Super Bot Fight Mode ali omejevanje zahtev, dodajte prilagojeno pravilo, ki te funkcije preskoči za preverjene bote in za žeton pajka:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Pravilo postavite na prvo mesto. Upoštevajte, da ujemanje z user agentom spusti skozi tudi vsakogar, ki ta user agent ponaredi. Kjer lahko, raje uporabite polje preverjenih botov (cf.client.bot) ali obsege IP, ki jih objavlja ponudnik.

Kaj pa Bot Fight Mode?

Cloudflarova dokumentacija izrecno navaja, da Bot Fight Mode ni mogoče obiti ali preskočiti s prilagojenimi pravili WAF ali Page Rules. Če pajkom izzive postavlja prav ta funkcija, pravilo za preskok ne bo pomagalo. Možnosti sta, da Bot Fight Mode izklopite ali da v paketu, ki ga vključuje, uporabite Super Bot Fight Mode, ki deluje na Ruleset Engine in podpira pravila za preskok.

Katere pajke naj spustim skozi?

Pajke ločite po tem, kaj počnejo. Pajki za iskanje in uporabniški pajki odločajo, ali vas odgovori UI lahko najdejo in citirajo. Pajki za učenje zbirajo podatke za modele in njihovo blokiranje je legitimna odločitev, ki vas ne odstrani iz iskanja z UI.

  • Iskanje: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • Uporabniški prenosi: ChatGPT-User, Claude-User, Perplexity-User.
  • Učenje: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Cloudflarove nastavitve pravilnikov uporabljajo enako delitev na Search, Agent in Training, zato lahko prvi dve dovolite, o tretji pa se odločite posebej. Če uporabljate drug požarni zid ali CDN, je načelo enako: žeton pajka dodajte na seznam dovoljenih, preverjen z obsegi IP, ki jih objavlja ponudnik, ali z obratnim DNS, kjer je na voljo, da dobi isti odgovor kot brskalnik.

Kako AISeeWhy zazna blokade požarnega zidu?

AISeeWhy vašo stran zahteva kot 14 pajkov in običajen brskalnik, primerja status, velikost in preusmeritve, prepozna strani z izzivom in imenuje požarni zid ali CDN, ki je odgovoril. Ko robots.txt pajka dovoljuje, strežnik pa ga blokira, poročilo pokaže nasprotje in poda pravilo za Cloudflare ali korak za seznam dovoljenih, ki ga odpravi.

Popravki za to težavo

Brezplačna orodja

Naslednji koraki

Pajki v tem članku

Viri

Več člankov

Objavljeno · Posodobljeno