Cloudflare bloqueja els rastrejadors d'IA? Com saber-ho i corregir-ho

Comprova en uns 30 segons si Cloudflare o un altre tallafoc respon als rastrejadors d'IA amb un bloqueig, i obtén la regla que deixa passar els que toca.

Gratis · Sense registre · Resultats en 30 segons

403, 429 i pàgines de desafiament

Els rastrejadors poden rebre un bloqueig o una pàgina Just a moment... mentre el teu navegador rep la pàgina real. La pàgina se sol·licita de les dues maneres i es marca la diferència.

robots.txt contra el tallafoc

Quan el robots.txt permet un rastrejador però el servidor el rebutja, l'informe mostra el conflicte, i així saps quina configuració canviar.

El tallafoc, identificat

S'indica quina CDN o quin tallafoc ha respost, Cloudflare inclòs, de manera que no has d'endevinar on mirar.

La regla que cal aplicar

Cada troballa inclou la solució, com ara la regla de Cloudflare o el pas per afegir-lo a la llista de permesos. La comprovació gratuïta mostra la teva puntuació i la primera troballa; l'informe complet costa $29, un únic pagament.

Resposta breu

Cloudflare i altres tallafocs poden respondre als rastrejadors d'IA amb un 403, un 429 o una pàgina de desafiament "Just a moment..." mentre els navegadors reben la pàgina real, encara que el robots.txt permeti el rastrejador. Comprova-ho demanant la pàgina amb el user agent del rastrejador i després permet els rastrejadors de cerca amb IA a AI Crawl Control o amb una regla Skip del WAF.

Troba-ho i corregeix-ho en 3 passos

  1. Demana la pàgina dues vegades

    Una amb el user agent d'un navegador i una altra amb el del rastrejador. Un 403, 429 o 503 només per al rastrejador, una pàgina Just a moment... o un 200 molt més curt vol dir un bloqueig del tallafoc.

  2. Permet els rastrejadors de cerca

    A Cloudflare, obre AI Crawl Control, ves a la llista Crawlers i posa Allow a la columna Action dels rastrejadors que vulguis, com ara OAI-SearchBot.

  3. Omet les altres proteccions si cal

    Si una regla personalitzada del WAF, Super Bot Fight Mode o la limitació de peticions els continua bloquejant, afegeix una regla, col·locada la primera, que ometi aquestes funcions per als bots verificats. Val més fer servir el camp de bot verificat o els rangs d'IP que publica el proveïdor que no pas una coincidència de user agent.

Preguntes freqüents

On puc veure a Cloudflare quins rastrejadors d'IA estan bloquejats?

Obre AI Crawl Control al tauler de Cloudflare. La seva llista de rastrejadors mostra cada rastrejador d'IA que Cloudflare ha vist al teu domini, quantes peticions ha fet i si la seva acció és Allow o Block, i hi pots canviar l'acció. Altres funcions, com Bot Fight Mode, encara poden bloquejar un rastrejador que has permès, així que confirma el resultat amb una petició que faci servir el user agent del rastrejador.

Cloudflare bloqueja els rastrejadors d'IA per defecte?

Depèn del teu compte, del pla i de la configuració de la teva zona, i Cloudflare ha canviat aquestes opcions amb el temps. Revisa AI Crawl Control i la configuració de bots, i fes una prova amb el user agent del rastrejador en lloc de donar-ho per fet.

Per què el meu lloc funciona en un navegador però no per als rastrejadors?

Els tallafocs avaluen cada petició. Un navegador supera els desafiaments de JavaScript i guarda galetes; un rastrejador no, així que pot rebre una pàgina de desafiament o un 403 que tu no veus mai.

És segur deixar passar els rastrejadors d'IA pel WAF?

Permetre un rastrejador concret és poc arriscat si el verifiques pels rangs d'IP del proveïdor o pel senyal de bot verificat de Cloudflare. Les regles que només es fien del user agent també deixen entrar qualsevol que el copiï.

La funció d'ofuscació del correu de Cloudflare afecta els rastrejadors d'IA?

Substitueix les adreces de correu per un enllaç que només un script descodifica, així que els rastrejadors veuen un marcador en lloc de l'adreça. Si vols que el teu correu de contacte es pugui llegir, desactiva Email Address Obfuscation a Scrape Shield i mostra l'adreça com a text normal.

Llegeix la guia completa

La protecció contra bots existeix per aturar els scrapers i els abusos, i ho fa bé. El problema és que els rastrejadors de cerca amb IA també són bots. Una opció de seguretat activada fa anys, una limitació de peticions o una regla àmplia contra user agents desconeguts poden deixar fora, sense fer soroll, els rastrejadors que et citen, mentre les teves pròpies visites semblen del tot normals.

Per què un tallafoc bloquejaria els rastrejadors d'IA?

Els tallafocs avaluen cada petició. Un rastrejador no executa desafiaments de JavaScript, no guarda galetes com un navegador i sovint demana moltes pàgines seguides, així que pot semblar exactament el trànsit que la protecció contra bots ha d'aturar. Les causes habituals són:

  • Funcions de protecció contra bots que desafien el trànsit que coincideix amb patrons de bots coneguts. El Bot Fight Mode de Cloudflare, per exemple, imposa desafiaments costosos de calcular als bots.
  • Regles personalitzades del WAF que bloquegen o desafien els user agents que contenen paraules com "bot" o "crawler", o que només permeten una llista curta de cercadors.
  • Opcions que bloquegen els rastrejadors d'IA com a categoria. Cloudflare et deixa definir polítiques per als rastrejadors Search, Agent i Training, i una opció Block en aquest punt s'aplica a tots.
  • Una limitació de peticions que respon amb un 429 a la successió ràpida de peticions d'un rastrejador.
  • Bloquejos per país o per ASN que per casualitat cobreixen les xarxes des d'on funcionen els rastrejadors.

Com distingeixo un bloqueig del tallafoc d'un bloqueig del robots.txt?

Un bloqueig del robots.txt és una petició educada: el rastrejador llegeix les teves regles i no obté la pàgina. Un bloqueig del tallafoc és una resposta: el rastrejador demana la pàgina i rep una altra cosa. El segon tipus el pots veure directament. Demana la pàgina dues vegades, una amb el user agent d'un navegador i una amb el del rastrejador, i compara.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Senyals d'un bloqueig del tallafoc: un estat 403, 429 o 503 només per al rastrejador; una pàgina titulada Just a moment... o Attention Required! | Cloudflare; un cos que conté /cdn-cgi/challenge-platform; o una resposta 200 molt més curta que la del navegador. Tingues en compte que la prova surt de la teva IP, no del rang d'IP verificat del rastrejador, així que mostra com tracta el tallafoc el user agent, no tots els detalls de com tracta el rastrejador real.

Com permeto els rastrejadors de cerca amb IA a Cloudflare?

AI Crawl Control de Cloudflare, disponible en tots els plans, llista els rastrejadors d'IA que visiten el teu domini i et deixa triar una acció per a cadascun. Al tauler, obre AI Crawl Control, ves a la llista Crawlers i tria Allow o Block a la columna Action per a cada rastrejador. Cloudflare diu que bloquejar-hi crea o actualitza una regla personalitzada del WAF a la teva zona.

Si el que bloqueja el rastrejador és una regla personalitzada del WAF, el Super Bot Fight Mode o la limitació de peticions, afegeix una regla personalitzada que se salti aquestes funcions per als bots verificats i per al token del rastrejador:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Posa aquesta regla la primera. Tingues en compte que fer coincidir el user agent també deixa passar qualsevol que el falsifiqui. Quan puguis, fes servir el camp de bot verificat (cf.client.bot) o els rangs d'IP que publica el proveïdor.

I el Bot Fight Mode?

La documentació de Cloudflare diu explícitament que el Bot Fight Mode no es pot evitar ni saltar amb regles personalitzades del WAF ni amb Page Rules. Si és la funció que desafia els rastrejadors, una regla Skip no servirà de res. Les opcions són desactivar el Bot Fight Mode o fer servir el Super Bot Fight Mode en un pla que l'inclogui, que funciona sobre el Ruleset Engine i admet regles Skip.

Quins rastrejadors he de deixar passar?

Separa els rastrejadors segons el que fan. Els rastrejadors de cerca i d'obtenció per a usuaris decideixen si les respostes d'IA et poden trobar i citar. Els rastrejadors d'entrenament recullen dades per a models, i bloquejar-los és una opció legítima que no et treu de la cerca amb IA.

  • Cerca: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • Obtenció per a usuaris: ChatGPT-User, Claude-User, Perplexity-User.
  • Entrenament: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Les opcions de política de la mateixa Cloudflare fan servir la mateixa divisió en Search, Agent i Training, així que pots permetre les dues primeres i decidir per separat sobre la tercera. Si fas servir un altre tallafoc o una altra CDN, el principi és el mateix: afegeix el token del rastrejador a la llista de permesos, verificat pels rangs d'IP publicats pel proveïdor o per DNS inversa quan n'hi hagi, perquè rebi la mateixa resposta que un navegador.

Com detecta AISeeWhy els bloquejos del tallafoc?

AISeeWhy demana la teva pàgina com a 14 rastrejadors i un navegador normal, compara l'estat, la mida i les redireccions, reconeix les pàgines de desafiament i identifica el tallafoc o la CDN que ha respost. Quan el robots.txt permet un rastrejador però el servidor el bloqueja, l'informe mostra el conflicte i et dona la regla de Cloudflare o el pas de la llista de permesos per corregir-ho.

Correccions per a aquest problema

Eines gratuïtes

Passos següents

Rastrejadors en aquest article

Fonts

Més articles

Publicat · Actualitzat