Per què el meu lloc bloqueja de sobte els rastrejadors d'IA?
Un lloc que comença a bloquejar els rastrejadors d'IA gairebé sempre ha canviat en un d'aquests cinc llocs: el robots.txt que se serveix de veritat, una opció de la CDN com les polítiques de rastrejadors d'IA de Cloudflare, la protecció contra bots o un límit de freqüència, una configuració per defecte de l'allotjament, o un robots.txt que ara respon amb un error. Obté el robots.txt d'avui i una pàgina com a cada rastrejador, compara-ho amb un navegador i amb el que tenies abans, i revisa aquestes capes en aquest ordre.
Ningú decideix desaparèixer de les respostes d'IA. Passa com a efecte secundari d'una actualització del tema, una opció de seguretat, una migració o un canvi de configuració per defecte d'un proveïdor. Un navegador continua veient el lloc amb normalitat, així que el canvi pot passar desapercebut fins que algú pregunta a ChatGPT o a Perplexity pel producte i rep un competidor. Cada capa deixa rastres que pots comprovar des de fora o als registres.
En aquesta pàgina
- Ha canviat el robots.txt que reben els rastrejadors?
- Les polítiques de rastrejadors d'IA de Cloudflare del 2026 han canviat què permet el meu lloc?
- La protecció contra bots o un límit de freqüència atura els rastrejadors?
- El meu proveïdor d'allotjament ha canviat la configuració per defecte?
- El robots.txt respon amb un error?
- Com sé quan va començar?
- Com ho detecto abans la propera vegada?
Ha canviat el robots.txt que reben els rastrejadors?
Obté https://yourdomain.com/robots.txt i compara'l amb el fitxer del repositori o de la còpia de seguretat. Mira el fitxer servit, no el del disc, perquè diverses capes el poden canviar pel camí:
- Un desplegament publica un robots.txt de proves amb
Disallow: /, o una migració deixa la configuració per defecte de la plataforma. - Una opció d'un creador de llocs web afegeix regles per a rastrejadors d'IA. Squarespace, per exemple, té l'opció Block known artificial intelligence crawlers, que escriu 26 noms de bots al robots.txt i diu que se n'hi poden afegir més amb el temps. Està desactivada per defecte, així que algú l'ha d'activar, però la llista pot créixer després.
- Una actualització d'un connector de SEO o de seguretat escriu regles noves, o afegeix una opció nova que algú activa.
- Cloudflare afegeix el seu robots.txt gestionat al principi del teu fitxer quan Bot Preference Sync està activat i una política d'IA està configurada com a Block o Disallow. Llavors el fitxer servit comença amb
Disallow: /per aClaudeBot,GPTBoti sis tokens d'entrenament més, encara que el teu fitxer no hagi canviat. - Una regla pensada per a un rastrejador d'entrenament s'ha copiat a altres, inclosos rastrejadors de cerca com
OAI-SearchBot,Claude-SearchBotoPerplexityBot.
L'informe de robots.txt de Google Search Console mostra les versions que Google ha obtingut els últims 30 dies, amb una entrada nova cada vegada que el fitxer o el resultat de l'obtenció canvia. Només cobreix el que ha vist Google, però tret que el servidor canviï el robots.txt segons el user agent, els rastrejadors d'IA han rebut el mateix fitxer.
Les polítiques de rastrejadors d'IA de Cloudflare del 2026 han canviat què permet el meu lloc?
Cloudflare ha canviat diverses vegades els seus controls de rastrejadors d'IA, i alguns canvis alteren el que fa una zona sense que ningú l'editi. L'1 de juliol de 2025 va començar a preguntar als dominis nous, en registrar-se, si volien permetre els rastrejadors d'IA, amb el bloqueig com a estat inicial. L'1 de juliol de 2026 va substituir l'interruptor únic Block AI bots per polítiques separades de Search, Agent i Training, per a tots els plans, inclòs el Free.
El detall que enxampa la majoria de llocs són els rastrejadors de propòsit mixt. La documentació de Cloudflare diu que les accions de Training també s'apliquen als rastrejadors que es fan servir tant per a la cerca com per a l'entrenament. El seu anunci de juliol de 2026 deia que, a partir del 15 de setembre de 2026, els rastrejadors de propòsit múltiple com Googlebot, Applebot i BingBot quedarien bloquejats per als clients que haguessin triat bloquejar Training, ja fos amb les opcions noves o amb l'antiga opció Block AI bots. Per tant, una exclusió de l'entrenament configurada fa un any ara pot afectar els rastrejadors de cerca.
La configuració per defecte dels dominis nous s'ha descrit de maneres diferents al llarg del temps. El mateix anunci deia que els dominis nous tindrien Training i Agent bloquejats a les pàgines amb anuncis a partir del 15 de setembre de 2026, mentre que la documentació de les polítiques actualitzada el 2 de novembre de 2026 diu que els dominis nous comencen amb totes tres en Allow. Obre Security, després Settings, filtra per Bot traffic i llegeix les AI Crawler and Agent access policies de la teva zona. La nostra guia de Cloudflare AI Crawl Control explica cada opció.
La protecció contra bots o un límit de freqüència atura els rastrejadors?
La protecció contra bots avalua cada petició, i els rastrejadors obtenen moltes pàgines ràpidament des de centres de dades, que és exactament el que fan els bots. Un rastrejador que passava el mes passat pot començar a rebre pàgines de desafiament després que el seu operador canviï els rangs d'IP o la freqüència de rastreig, o després que s'actualitzin les regles de protecció. El Bot Fight Mode de Cloudflare és una causa habitual, i Cloudflare diu que no es pot eludir ni ometre amb regles personalitzades del WAF ni amb Page Rules, així que una regla de permís afegida més tard no servirà mentre estigui activat. Un límit de freqüència nou que respon a les ràfegues amb 429 té el mateix efecte en un rastrejador molt actiu.
Prova-ho des de fora: demana una pàgina com a navegador i com a dos rastrejadors de cerca d'IA, i després demana el robots.txt com a rastrejador.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt Un 403, 429 o 503 només per a un rastrejador, una pàgina amb el títol Just a moment... o un cos molt més petit que el del navegador vol dir que el rastrejador rep un tracte diferent. La prova surt de la teva IP, no de la del proveïdor, així que les regles basades en l'estat de bot verificat encara poden tractar de manera diferent el rastrejador real. El registre d'esdeveniments del tallafoc mostra quina regla ha respost.
El meu proveïdor d'allotjament ha canviat la configuració per defecte?
Alguns allotjaments filtren el trànsit d'IA al servidor, abans que s'executin les teves pròpies regles. SiteGround, per exemple, va escriure l'agost de 2025 que bloqueja per defecte els rastrejadors d'IA dissenyats per recollir dades d'entrenament i permet els rastrejadors que visiten una pàgina quan una persona en pregunta a un assistent d'IA. Regles com aquestes no apareixen al teu robots.txt, i poden canviar quan l'allotjament actualitza les seves llistes de bots.
Si un bloqueig apareix alhora en diversos llocs del mateix allotjament, o en respostes que no arriben mai als registres de la teva aplicació, pregunta a l'allotjament quines regles de bots s'apliquen al teu compte i si pots excloure'n els rastrejadors que vols conservar.
El robots.txt respon amb un error?
Un robots.txt que falla pot bloquejar més que qualsevol línia Disallow. Segons l'RFC 9309, una resposta 4xx vol dir que un rastrejador pot obtenir-ho tot, però un error del servidor (5xx) o l'absència de resposta vol dir que ha de suposar que tot el lloc està bloquejat. Google deixa de rastrejar durant les primeres 12 hores d'aquests errors i després fa servir l'última còpia bona fins a 30 dies.
Així és com un pic de càrrega, una regla del tallafoc que desafia /robots.txt o un límit de freqüència que l'inclou poden deixar fora els rastrejadors que es porten bé sense que canviï cap regla. L'última ordre de la prova anterior hauria de retornar 200 i text/plain. Un 5xx, un temps d'espera esgotat o una pàgina de desafiament en aquest punt és el primer que cal corregir.
Com sé quan va començar?
Una data converteix un misteri en una diferència que es pot comparar. Als registres d'accés, filtra les peticions dels user agents de rastrejadors d'IA i busca el dia que els seus codis d'estat van passar de 200 a 403, 429 o 503, o el dia que van deixar de demanar pàgines després de llegir el robots.txt; la nostra guia per revisar els registres del servidor per trobar rastrejadors d'IA té les ordres. Les peticions que bloqueja la CDN no arriben mai a l'origen, així que revisa també la CDN. A Cloudflare, AI Crawl Control mostra una distribució dels codis d'estat al llarg del temps que pots filtrar per rastrejador.
Després relaciona aquesta data amb els desplegaments, les actualitzacions de connectors i temes, els canvis d'opcions de la CDN i els anuncis dels proveïdors. Abans d'actuar, confirma que les IP d'origen pertanyen al proveïdor, perquè estiguis mirant el rastrejador real i no un impostor que fa servir el seu nom.
Com ho detecto abans la propera vegada?
Comprova l'accés després de cada desplegament, canvi a la CDN i actualització de connectors, no només quan baixa el trànsit. La comprovació gratuïta d'AISeeWhy obté una pàgina com a 16 rastrejadors d'IA i de cerca al costat d'un navegador real, aplica el teu robots.txt a cada rastrejador i reconeix les pàgines de desafiament dels tallafocs. El comprovador gratuït de robots.txt mostra, per a cada rastrejador, si es pot obtenir una pàgina segons el fitxer que està publicat avui.
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Comprovació d'IP de rastrejadors d'IA
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Preguntes freqüents
Per què ChatGPT ha deixat de mostrar el meu lloc?
Sovint perquè OAI-SearchBot, el rastrejador que hi ha darrere de la cerca de ChatGPT, ha quedat bloquejat per un canvi al robots.txt, una política de la CDN o la protecció contra bots. OpenAI diu que els llocs que el bloquegen no apareixeran a les respostes de cerca de ChatGPT. Revisa cada capa per a aquest rastrejador i deixa passar unes 24 hores després de corregir el robots.txt, que és el temps que segons OpenAI necessiten els seus sistemes per adaptar-se.
Cloudflare ha començat a bloquejar Googlebot al meu lloc?
Pot passar. Cloudflare va dir que, a partir del 15 de setembre de 2026, els clients que bloquegen Training també bloquegen rastrejadors de propòsit múltiple com Googlebot, Applebot i BingBot. La seva documentació diu que l'opció Training Disallow bloqueja els rastrejadors d'entrenament a l'edge però deixa fora els rastrejadors d'ús mixt, així que comprova quina opció fa servir la teva zona.
Un creador de llocs web o un connector pot canviar el meu robots.txt?
Sí. Els creadors de llocs web i els connectors de SEO o de seguretat poden escriure regles per a rastrejadors d'IA al robots.txt, i alguns amplien les seves llistes de bots amb el temps. Després de cada actualització, obté el fitxer publicat i llegeix els grups que s'apliquen als rastrejadors de cerca que t'importen.
Per què el meu robots.txt publicat és diferent del fitxer del servidor?
Alguna cosa davant del teu servidor el modifica. El robots.txt gestionat de Cloudflare, per exemple, afegeix les seves pròpies regles i content signals al principi del teu fitxer en la mateixa resposta. Un CMS que genera el robots.txt a cada petició, o una opció de l'allotjament, també el pot substituir o ampliar.
Quant triguen a tornar els rastrejadors d'IA després de corregir-ho?
L'RFC 9309 diu que els rastrejadors no haurien de fer servir un robots.txt en memòria cau durant més de 24 hores, OpenAI parla d'unes 24 hores i Perplexity de fins a 24 hores. Els canvis al tallafoc s'apliquen tan bon punt el proveïdor els desplega, però els rastrejadors tornen al seu ritme.
Fonts
- RFC 9309: Protocol d'exclusió de robots
- Google: Com interpreta Google l'especificació del robots.txt
- Google Search Console Help: robots.txt report
- Nota de premsa de Cloudflare: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Registre de canvis de Cloudflare: opcions de trànsit d'IA (2026-07-01)
- Cloudflare: Polítiques d'accés per a rastrejadors i agents d'IA
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analitzar el trànsit d'IA (AI Crawl Control)
- Ajuda de Squarespace: Demanar als models d'IA que excloguin el teu lloc
- Blog de SiteGround: Avantatges i inconvenients del rastreig dels bots d'IA
- OpenAI: Resum dels rastrejadors d'OpenAI
- Perplexity: rastrejadors de Perplexity