OAI-SearchBot està bloquejat
Una petició enviada amb el user agent d'aquest rastrejador ha estat rebutjada: ha rebut un estat 4xx o 5xx, una capçalera cf-mitigated de Cloudflare o una pàgina de desafiament, mentre que una petició normal de navegador ha rebut la pàgina. Busca la regla del tallafoc, la CDN o de bots que coincideix amb el user agent i deixa passar el rastrejador.
Què vol dir
Una petició amb el user agent de OAI-SearchBot ha rebut l'estat 403 o una pàgina de desafiament, mentre que un navegador ha rebut la pàgina. Prova feta des d'una IP no verificada: mostra com tracta el teu tallafoc aquest user agent; el rastrejador real, des de les seves IP verificades, pot rebre un tracte diferent.
Per què és important per a la cerca amb IA
Els rastrejadors de cerca i d'usuari, com OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot i Perplexity-User, obtenen pàgines per construir respostes i els enllaços que les acompanyen. Si reben un 403 o una pàgina de desafiament, la pàgina no es pot citar ni enllaçar, per bona que sigui. Per això AISeeWhy classifica com a P1 el bloqueig d'aquests rastrejadors.
Els rastrejadors d'entrenament (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) es classifiquen com a P3: bloquejar-los és una decisió de política, no un error. La prova es fa des d'una IP no verificada, així que mostra com tracten les teves regles el user agent; el rastrejador real, que ve dels seus rangs d'IP publicats, pot rebre un tracte diferent.
Com corregir-ho
- Obre la troballa per veure quin rastrejador s'ha bloquejat, quin estat ha rebut i quin WAF ha detectat l'auditoria. L'informe d'AISeeWhy mostra les proves i una correcció a punt per enganxar; després, fes "Torna a comprovar" per confirmar el resultat.
- A Cloudflare, busca la petició bloquejada a Security → Events i després afegeix una regla personalitzada del WAF que coincideixi amb el rastrejador (bots verificats o el token del seu user agent) amb l'acció Skip per a la resta de regles personalitzades, Super Bot Fight Mode i la limitació de peticions. A AI Crawl Control, posa el rastrejador a Allow.
- A Vercel, Akamai, Imperva, Sucuri o AWS WAF, busca la regla de gestió de bots o la regla gestionada que s'ha activat i afegeix-hi una excepció per al rastrejador, preferiblement verificada pels rangs d'IP publicats per l'empresa o per DNS inversa, i no només pel user agent.
- A nginx o Apache, busca a la configuració les línies
deny,return 403oRewriteCond %{HTTP_USER_AGENT}que nomenen el rastrejador, i a WordPress revisa els plugins de seguretat que bloquegen "bots dolents". - Decideix-ho per a cada rastrejador: permetre els rastrejadors de cerca i d'usuari és el que fa que les pàgines es citin, mentre que els rastrejadors d'entrenament poden continuar bloquejats si aquesta és la teva política.
Exemple
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting Com confirmar la correcció
Després del canvi, prem «Torna a comprovar» a l'informe: mostra què s'ha corregit i com ha canviat la puntuació.
Guies relacionades
- Com llegir l'informe AI Crawl Control de Cloudflare i veure quins rastrejadors d'IA entren
- Cloudflare bloqueja els rastrejadors d'IA? Com saber-ho i corregir-ho
- ChatGPT pot veure el meu lloc web? Com comprovar-ho
- 12 comprovacions d'AEO que cal fer abans de publicar una pàgina (2027)
- SEO 2.0: com la cerca i els assistents d'IA han canviat el SEO, capa per capa