OAI-SearchBot està bloquejat

Resposta breu

Una petició enviada amb el user agent d'aquest rastrejador ha estat rebutjada: ha rebut un estat 4xx o 5xx, una capçalera cf-mitigated de Cloudflare o una pàgina de desafiament, mentre que una petició normal de navegador ha rebut la pàgina. Busca la regla del tallafoc, la CDN o de bots que coincideix amb el user agent i deixa passar el rastrejador.

access.blocked · Prioritat: P1–P3, segons el tipus de rastrejador

Què vol dir

Una petició amb el user agent de OAI-SearchBot ha rebut l'estat 403 o una pàgina de desafiament, mentre que un navegador ha rebut la pàgina. Prova feta des d'una IP no verificada: mostra com tracta el teu tallafoc aquest user agent; el rastrejador real, des de les seves IP verificades, pot rebre un tracte diferent.

Per què és important per a la cerca amb IA

Els rastrejadors de cerca i d'usuari, com OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot i Perplexity-User, obtenen pàgines per construir respostes i els enllaços que les acompanyen. Si reben un 403 o una pàgina de desafiament, la pàgina no es pot citar ni enllaçar, per bona que sigui. Per això AISeeWhy classifica com a P1 el bloqueig d'aquests rastrejadors.

Els rastrejadors d'entrenament (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) es classifiquen com a P3: bloquejar-los és una decisió de política, no un error. La prova es fa des d'una IP no verificada, així que mostra com tracten les teves regles el user agent; el rastrejador real, que ve dels seus rangs d'IP publicats, pot rebre un tracte diferent.

Com corregir-ho

  1. Obre la troballa per veure quin rastrejador s'ha bloquejat, quin estat ha rebut i quin WAF ha detectat l'auditoria. L'informe d'AISeeWhy mostra les proves i una correcció a punt per enganxar; després, fes "Torna a comprovar" per confirmar el resultat.
  2. A Cloudflare, busca la petició bloquejada a Security → Events i després afegeix una regla personalitzada del WAF que coincideixi amb el rastrejador (bots verificats o el token del seu user agent) amb l'acció Skip per a la resta de regles personalitzades, Super Bot Fight Mode i la limitació de peticions. A AI Crawl Control, posa el rastrejador a Allow.
  3. A Vercel, Akamai, Imperva, Sucuri o AWS WAF, busca la regla de gestió de bots o la regla gestionada que s'ha activat i afegeix-hi una excepció per al rastrejador, preferiblement verificada pels rangs d'IP publicats per l'empresa o per DNS inversa, i no només pel user agent.
  4. A nginx o Apache, busca a la configuració les línies deny, return 403 o RewriteCond %{HTTP_USER_AGENT} que nomenen el rastrejador, i a WordPress revisa els plugins de seguretat que bloquegen "bots dolents".
  5. Decideix-ho per a cada rastrejador: permetre els rastrejadors de cerca i d'usuari és el que fa que les pàgines es citin, mentre que els rastrejadors d'entrenament poden continuar bloquejats si aquesta és la teva política.

Exemple

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Com confirmar la correcció

Després del canvi, prem «Torna a comprovar» a l'informe: mostra què s'ha corregit i com ha canviat la puntuació.

Comprova la meva pàgina →

Guies relacionades

Totes les troballes i com funciona la puntuació