Vai Cloudflare bloķē MI rāpuļprogrammas? Kā to noskaidrot un labot

Apmēram 30 sekundēs uzziniet, vai Cloudflare vai cits ugunsmūris MI rāpuļprogrammām atbild ar bloķēšanu, un iegūstiet noteikumu, kas laiž cauri pareizās.

Bez maksas · Bez reģistrācijas · Rezultāts 30 sekundēs

403, 429 un pārbaudes lapas

Rāpuļprogrammas var saņemt bloķēšanu vai lapu Just a moment..., kamēr jūsu pārlūks saņem īsto lapu. Jūsu lapa tiek pieprasīta abos veidos, un atšķirība tiek atzīmēta.

robots.txt pret ugunsmūri

Ja robots.txt rāpuļprogrammu atļauj, bet serveris to atraida, pārskats parāda konfliktu, tāpēc zināt, kuru iestatījumu mainīt.

Ugunsmūris ar nosaukumu

CDN vai ugunsmūris, kas atbildēja, tiek nosaukts, ieskaitot Cloudflare, tāpēc nav jāmin, kur meklēt.

Piemērojamais noteikums

Katram atradumam ir pievienots labojums, piemēram, Cloudflare noteikums vai atļauto saraksta solis. Bezmaksas pārbaude parāda jūsu rezultātu un pirmo atradumu; pilns pārskats maksā $29, vienreiz.

Īsa atbilde

Cloudflare un citi ugunsmūri MI rāpuļprogrammām var atbildēt ar 403, 429 vai pārbaudes lapu “Just a moment...”, kamēr pārlūki saņem īsto lapu, pat ja robots.txt rāpuļprogrammu atļauj. Pārbaudiet to, pieprasot lapu ar rāpuļprogrammas user-agent, pēc tam atļaujiet MI meklēšanas rāpuļprogrammas sadaļā AI Crawl Control vai ar WAF noteikumu Skip.

Atrodiet un labojiet 3 soļos

  1. Pieprasiet lapu divreiz

    Vienreiz ar pārlūka user-agent, otrreiz ar rāpuļprogrammas. 403, 429 vai 503 tikai rāpuļprogrammai, lapa Just a moment... vai ievērojami īsāks 200 nozīmē ugunsmūra bloķēšanu.

  2. Atļaujiet meklēšanas rāpuļprogrammas

    Cloudflare atveriet AI Crawl Control, dodieties uz rāpuļprogrammu sarakstu un slejā Action iestatiet Allow tām rāpuļprogrammām, kuras vēlaties, piemēram, OAI-SearchBot.

  3. Vajadzības gadījumā izlaidiet citas aizsardzības

    Ja WAF pielāgots noteikums, Super Bot Fight Mode vai ātruma ierobežošana tās joprojām bloķē, pievienojiet noteikumu, novietotu pirmajā vietā, kas šīs funkcijas izlaiž verificētiem botiem. Izmantojiet verificētā bota lauku vai piegādātāja publicētos IP diapazonus, nevis user-agent sakritību.

Biežāk uzdotie jautājumi

Kur Cloudflare var redzēt, kuras MI rāpuļprogrammas ir bloķētas?

Atveriet AI Crawl Control Cloudflare panelī. Tā rāpuļprogrammu sarakstā redzama katra MI rāpuļprogramma, ko Cloudflare ir redzējis jūsu domēnā, cik pieprasījumu tā veica un vai tās darbība ir Allow vai Block, un tur varat darbību mainīt. Citas funkcijas, piemēram, Bot Fight Mode, joprojām var bloķēt atļautu rāpuļprogrammu, tāpēc pārbaudiet rezultātu ar pieprasījumu, kas izmanto rāpuļprogrammas user-agent.

Vai Cloudflare pēc noklusējuma bloķē MI rāpuļprogrammas?

Tas ir atkarīgs no jūsu konta, plāna un zonas iestatījumiem, un Cloudflare laika gaitā šīs iespējas ir mainījusi. Pārbaudiet AI Crawl Control un robotu iestatījumus un testējiet ar rāpuļprogrammas user-agent, nevis pieņemiet.

Kāpēc mana vietne darbojas pārlūkā, bet ne rāpuļprogrammām?

Ugunsmūri izvērtē katru pieprasījumu. Pārlūks iztur JavaScript pārbaudes un glabā sīkdatnes; rāpuļprogramma to nedara, tāpēc tā var saņemt pārbaudes lapu vai 403, ko jūs nekad neredzat.

Vai ir droši ielaist MI rāpuļprogrammas caur WAF?

Nosauktas rāpuļprogrammas atļaušana ir zema riska, ja verificējat to pēc piegādātāja IP diapazoniem vai Cloudflare verificēto robotu signāla. Noteikumi, kas uzticas tikai user-agent, ielaiž arī ikvienu, kas to nokopē.

Vai Cloudflare e-pasta adrešu slēpšana ietekmē MI rāpuļprogrammas?

Tā aizstāj e-pasta adreses ar saiti, ko atšifrē tikai skripts, tāpēc rāpuļprogrammas adreses vietā redz aizstājēju. Ja vēlaties, lai jūsu kontaktu e-pasts būtu lasāms, sadaļā Scrape Shield izslēdziet Email Address Obfuscation un rādiet adresi kā vienkāršu tekstu.

Lasīt visu pamācību

Aizsardzība pret robotiem pastāv, lai apturētu skrāpētājus un ļaunprātīgu izmantošanu, un tā to dara labi. Problēma ir tā, ka arī MI meklēšanas rāpuļprogrammas ir roboti. Pirms gadiem ieslēgts drošības iestatījums, pieprasījumu ierobežojums vai plašs noteikums pret nezināmiem user-agent var klusi neielaist tieši tās rāpuļprogrammas, kas jūs citē, kamēr jūsu pašu apmeklējumi izskatās pilnīgi normāli.

Kāpēc ugunsmūris varētu bloķēt MI rāpuļprogrammas?

Ugunsmūri izvērtē katru pieprasījumu. Rāpuļprogramma neizpilda JavaScript pārbaudes, neglabā sīkdatnes kā pārlūks un bieži pieprasa daudzas lapas pēc kārtas, tāpēc tā var izskatīties tieši kā datplūsma, kuras apturēšanai aizsardzība pret robotiem ir veidota. Biežākie iemesli:

  • Aizsardzības pret robotiem funkcijas, kas pārbauda datplūsmu, kura atbilst zināmiem robotu modeļiem. Piemēram, Cloudflare Bot Fight Mode robotiem izsniedz skaitļošanas ziņā dārgas pārbaudes.
  • WAF pielāgotie noteikumi, kas bloķē vai pārbauda user-agent ar tādiem vārdiem kā “bot” vai “crawler” vai atļauj tikai īsu meklētājprogrammu sarakstu.
  • Iestatījumi, kas bloķē MI rāpuļprogrammas kā kategoriju. Cloudflare ļauj iestatīt politikas rāpuļprogrammām Search, Agent un Training, un iestatījums Block tur attiecas uz tām visām.
  • Pieprasījumu ierobežošana, kas uz rāpuļprogrammas ātru pieprasījumu virkni atbild ar 429.
  • Valstu vai ASN bloķējumi, kas nejauši aptver tīklus, no kuriem darbojas rāpuļprogrammas.

Kā atšķirt ugunsmūra bloķējumu no robots.txt bloķējuma?

robots.txt bloķējums ir pieklājīgs lūgums: rāpuļprogramma nolasa jūsu kārtulas un lapu neielādē. Ugunsmūra bloķējums ir atbilde: rāpuļprogramma pieprasa lapu un saņem kaut ko citu. Otro veidu var redzēt tieši. Pieprasiet lapu divreiz, vienreiz ar pārlūka user-agent un vienreiz ar rāpuļprogrammas, un salīdziniet.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Ugunsmūra bloķējuma pazīmes: statuss 403, 429 vai 503 tikai rāpuļprogrammai; lapa ar virsrakstu Just a moment... vai Attention Required! | Cloudflare; saturs, kurā ir /cdn-cgi/challenge-platform; vai atbilde 200, kas ir daudz īsāka par pārlūka saņemto. Paturiet prātā, ka jūsu tests nāk no jūsu IP, nevis no rāpuļprogrammas verificētā IP diapazona, tāpēc tas parāda, kā ugunsmūris izturas pret user-agent, nevis katru detaļu, kā tas izturas pret īsto rāpuļprogrammu.

Kā atļaut MI meklēšanas rāpuļprogrammas Cloudflare?

Cloudflare AI Crawl Control, kas pieejams visos plānos, uzskaita MI rāpuļprogrammas, kas apmeklē jūsu domēnu, un ļauj katrai iestatīt darbību. Informācijas panelī atveriet AI Crawl Control, dodieties uz sarakstu Crawlers un kolonnā Action katrai rāpuļprogrammai izvēlieties Allow vai Block. Cloudflare norāda, ka bloķēšana tur izveido vai atjaunina WAF pielāgotu noteikumu jūsu zonā.

Ja rāpuļprogrammu bloķē WAF pielāgots noteikums, Super Bot Fight Mode vai pieprasījumu ierobežošana, pievienojiet pielāgotu noteikumu, kas izlaiž šīs funkcijas verificētiem robotiem un rāpuļprogrammas marķierim:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Novietojiet noteikumu pirmo. Ievērojiet, ka pārbaude pēc user-agent ielaiž arī ikvienu, kas šo user-agent viltojis. Kur iespējams, dodiet priekšroku verificēto robotu laukam (cf.client.bot) vai piegādātāja publicētajiem IP diapazoniem.

Kā ir ar Bot Fight Mode?

Cloudflare dokumentācijā skaidri teikts, ka Bot Fight Mode nevar apiet vai izlaist ar WAF pielāgotajiem noteikumiem vai Page Rules. Ja tieši šī funkcija pārbauda rāpuļprogrammas, noteikums Skip nepalīdzēs. Iespējas ir izslēgt Bot Fight Mode vai izmantot Super Bot Fight Mode plānā, kurā tas ir pieejams: tas darbojas uz Ruleset Engine un atbalsta noteikumus Skip.

Kuras rāpuļprogrammas ielaist?

Nodaliet rāpuļprogrammas pēc tā, ko tās dara. Meklēšanas un lietotāja pieprasījumu rāpuļprogrammas nosaka, vai MI atbildes var jūs atrast un citēt. Apmācības rāpuļprogrammas vāc datus modeļiem, un to bloķēšana ir leģitīma izvēle, kas neizņem jūs no MI meklēšanas.

  • Meklēšana: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • Lietotāju pieprasījumi: ChatGPT-User, Claude-User, Perplexity-User.
  • Apmācība: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Cloudflare politikas iestatījumos izmantots tas pats dalījums Search, Agent un Training, tāpēc varat atļaut pirmās divas un atsevišķi izlemt par trešo. Ja izmantojat citu ugunsmūri vai CDN, princips ir tas pats: iekļaujiet atļauto sarakstā rāpuļprogrammas marķieri, verificējot to pēc piegādātāja publicētajiem IP diapazoniem vai reverse DNS, ja tas pieejams, lai tā saņemtu to pašu atbildi, ko pārlūks.

Kā AISeeWhy atklāj ugunsmūra bloķējumus?

AISeeWhy pieprasa jūsu lapu kā 14 rāpuļprogrammas un parasts pārlūks, salīdzina statusu, izmēru un pāradresācijas, atpazīst pārbaudes lapas un nosauc ugunsmūri vai CDN, kas atbildēja. Ja robots.txt rāpuļprogrammu atļauj, bet serveris to bloķē, pārskats parāda šo konfliktu un dod Cloudflare noteikumu vai atļautā saraksta soli tā labošanai.

Labojumi šai problēmai

Bezmaksas rīki

Nākamie soļi

Šajā rakstā minētās rāpuļprogrammas

Avoti

Citi raksti

Publicēts · Atjaunināts