Com bloquejar l'entrenament d'IA i continuar a les respostes de la cerca amb IA
La majoria de proveïdors d'IA fan servir tokens de robots.txt diferents per a l'entrenament de models i per a la cerca. Bloqueja els tokens d'entrenament, com GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent i CCBot, i permet els tokens de cerca i d'usuari, com OAI-SearchBot, Claude-SearchBot i PerplexityBot. Afegeix una línia Content-Signal per expressar la mateixa preferència amb paraules.
Molts propietaris de llocs volen dues coses alhora: no volen que el seu contingut s'utilitzi per entrenar models d'IA, però sí que volen que els assistents d'IA trobin, citin i enllacin les seves pàgines. Com que els grans proveïdors ara reparteixen aquestes feines entre rastrejadors o tokens diferents, el robots.txt pot expressar totes dues decisions. El problema és que els noms canvien d'un proveïdor a un altre, alguns proveïdors no segueixen el patró, i una sola línia equivocada et pot treure de les respostes d'IA en lloc de les dades d'entrenament.
En aquesta pàgina
Quina diferència hi ha entre un rastrejador d'entrenament i un de cerca?
Un rastrejador d'entrenament recull pàgines que es poden fer servir per construir o millorar models d'IA. L'entrenament per si sol no genera cap cita ni cap enllaç. Un rastrejador de cerca construeix un índex que un assistent d'IA fa servir per trobar fonts per a una resposta, i aquestes fonts són les que pot citar. Un agent activat per l'usuari obre una pàgina en directe perquè algú n'ha preguntat.
Els proveïdors documenten aquests rols per separat i diuen que la configuració és independent. OpenAI, per exemple, diu que cada configuració del robots.txt per als seus rastrejadors és independent de les altres. Així, una exclusió de l'entrenament ben feta no toca la teva visibilitat a la cerca.
Quins tokens controlen l'entrenament i quins la cerca?
Aquests són els tokens que documenten els proveïdors, agrupats segons el que controlen:
- OpenAI:
GPTBotrastreja contingut que es pot fer servir per entrenar els seus models fundacionals.OAI-SearchBotés per a la cerca de ChatGPT, iChatGPT-Usergestiona les accions dels usuaris; OpenAI diu que el robots.txt pot no aplicar-s'hi. - Anthropic:
ClaudeBotrecull contingut que podria contribuir a l'entrenament.Claude-SearchBotmillora els resultats de cerca de Claude, iClaude-Userobté pàgines per als usuaris. Anthropic diu que els seus bots respecten el robots.txt. - Google:
Google-Extendedés un token de robots.txt sense rastrejador propi. Controla l'ús en l'entrenament de futurs models Gemini i en la fonamentació (grounding) de Gemini Apps i Vertex AI. Google diu que no afecta la inclusió ni la posició a la Cerca de Google, que es controla ambGooglebot. - Apple:
Applebot-Extendedno rastreja; controla si el contingut que rastrejaApplebots'utilitza per entrenar els models fundacionals d'Apple. Apple diu que les pàgines que el bloquegen poden continuar apareixent als seus resultats de cerca. - Meta:
meta-externalagentrastreja per a usos com l'entrenament de models fundacionals, mentre quemeta-webindexermillora els resultats de cerca de Meta AI. - Common Crawl:
CCBotconstrueix l'arxiu web públic de Common Crawl. El robots.txt gestionat de Cloudflare l'inclou entre els rastrejadors d'entrenament d'IA que bloqueja. - Perplexity:
PerplexityBotiPerplexity-Userserveixen la cerca i les peticions dels usuaris. Perplexity diu que cap dels dos s'utilitza per recollir dades d'entrenament, així que no hi ha cap token d'entrenament de Perplexity per bloquejar.
Com és el robots.txt?
Diverses línies User-agent seguides formen un sol grup segons l'RFC 9309, així que les regles s'apliquen a cadascuna. Aquest fitxer exclou els tokens d'entrenament anteriors, permet els agents de cerca i d'usuari, i manté un camí privat tancat per a tothom:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Hi ha dos detalls importants. Primer, un grup amb nom no hereta res de *, així que els camins privats s'han de repetir al grup de cerca. Segon, no afegeixis Googlebot ni Applebot al grup d'entrenament: són els rastrejadors de cerca, i bloquejar-los et treu de la Cerca de Google i de les funcions de cerca d'Apple. Els canvis no són immediats: OpenAI parla d'unes 24 hores per a la cerca, i Perplexity, de fins a 24 hores.
Quants llocs ja ho fan?
Menys dels que esperaries. El 2026-11-12 vam llegir els fitxers robots.txt dels 1.000 dominis més populars de la llista Tranco. Dels 518 que servien un robots.txt, 155 (29,9 %) bloquegen la pàgina d'inici a com a mínim un rastrejador d'entrenament d'IA. Només 57 (11,0 %) segueixen el camí selectiu: bloquegen els rastrejadors d'entrenament i permeten tots els rastrejadors de cerca i d'usuari d'IA que vam provar. En total, 101 llocs (19,5 %) bloquegen com a mínim un rastrejador de cerca o d'usuari d'IA.
Les xifres rastrejador per rastrejador mostren la mateixa divisió. GPTBot està bloquejat a 111 llocs (21,4 %) i OAI-SearchBot a 58 (11,2 %). ClaudeBot està bloquejat a 110 (21,2 %) i Claude-SearchBot a 67 (12,9 %). Google-Extended està bloquejat a 94 (18,1 %), i Googlebot a 14 (2,7 %). Només 18 llocs (3,5 %) fan servir Content-Signal.
L'estudi només mira les regles del robots.txt per a la pàgina d'inici. No mesura els bloquejos de tallafoc ni mostra què pretenia cada lloc.
Què hi afegeix Content-Signal?
Content Signals és una extensió del robots.txt publicada per Cloudflare a contentsignals.org. Una línia Content-Signal indica com es pot fer servir el contingut, amb tres senyals: search (construir un índex de cerca i mostrar enllaços i fragments breus), ai-input (posar contingut en models d'IA en temps real, com la fonamentació o la recuperació per a respostes generatives) i ai-train (entrenar o ajustar models).
Fixa't que la definició de search exclou els resums de cerca generats per IA. Si vols aparèixer a les respostes d'IA, posa també ai-input=yes, com a l'exemple anterior. El robots.txt gestionat de Cloudflare afegeix search=yes, ai-train=no per defecte; un senyal que no indiques ni concedeix ni restringeix aquest ús.
Són preferències declarades. El lloc de Content Signals diu que no impedeixen el rastreig a nivell tècnic, i Cloudflare recorda que complir el robots.txt és voluntari. Cap de les pàgines sobre rastrejadors d'OpenAI, Anthropic, Google o Perplexity que vam consultar diu si llegeixen Content-Signal, així que fes-lo servir com a complement dels grups per rastrejador, no com a substitut.
On no funciona bé la separació?
Alguns casos requereixen atenció:
- Les AI Overviews i l'AI Mode de Google es basen en l'índex de la Cerca que construeix
Googlebot, així queGoogle-Extendedno et treu d'aquestes funcions. L'ajuda de Search Console afegeix queGoogle-Extendedlimita l'entrenament dels models que hi ha darrere de les funcions d'IA generativa de la Cerca, un abast que la seva documentació de rastrejadors no esmenta. Google ara ofereix una opció separada a Search Console per excloure un lloc de les AI Overviews i l'AI Mode. - OpenAI diu que, si un lloc permet tant
GPTBotcomOAI-SearchBot, pot fer servir els resultats d'un sol rastreig per a tots dos fins. BloquejarGPTBotés el que indica que el contingut no s'ha d'utilitzar per a l'entrenament. - Les exclusions miren endavant. Anthropic, per exemple, descriu el bloqueig de
ClaudeBotcom una manera d'excloure el contingut futur del teu lloc dels conjunts de dades d'entrenament. - Els agents activats per l'usuari queden al mig. OpenAI i Perplexity diuen que el robots.txt pot no aplicar-se a
ChatGPT-Useri que en general no s'aplica aPerplexity-User. - Els tallafocs no llegeixen el robots.txt. Una regla àmplia de bloqueig de bots pot aturar els rastrejadors de cerca que has permès. Si apliques el bloqueig d'entrenament al tallafoc, identifica els agents d'entrenament pel nom i verifica'ls pels seus rangs d'IP publicats.
Com comprovo que la separació funciona?
Llegeix el robots.txt com ho faria cada rastrejador: busca el grup que el nomena, recorre a * només si no n'hi ha cap, i aplica la regla coincident més llarga. Després demana una pàgina amb el user agent de cada rastrejador de cerca i confirma que rep un 200 amb el contingut complet, no un 403 ni una pàgina de desafiament.
AISeeWhy fa totes dues coses per a 14 rastrejadors, agrupats en agents d'entrenament, de cerca i d'usuari, i marca l'error més habitual: bloquejar un token de cerca com PerplexityBot o Claude-SearchBot quan la intenció era bloquejar l'entrenament.
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Comprovació d'IP de rastrejadors d'IA
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Preguntes freqüents
Si bloquejo GPTBot, el meu lloc desapareixerà de les respostes de ChatGPT?
No. OpenAI diu que GPTBot és per a l'entrenament i que cada configuració del robots.txt és independent. La cerca de ChatGPT fa servir OAI-SearchBot; mentre estigui permès i el tallafoc no el bloquegi, les teves pàgines continuen sent elegibles.
Bloquejar Google-Extended em treu de les AI Overviews?
No, segons la documentació de Google. Google diu que Google-Extended no afecta la inclusió a la Cerca de Google, i les AI Overviews es basen en l'índex de la Cerca. Google ofereix un control separat a Search Console per excloure un lloc de les AI Overviews i l'AI Mode.
Hi ha una sola línia que bloquegi tot l'entrenament d'IA?
Cap línia estàndard ho fa. Content-Signal: ai-train=no expressa la preferència per a tots els rastrejadors, però que un rastrejador la respecti depèn del seu operador. La via documentada són grups amb nom per a cada token d'entrenament.
Hauria de bloquejar Perplexity per aturar l'entrenament d'IA?
Perplexity diu que els seus agents no s'utilitzen per recollir dades d'entrenament. Bloquejar PerplexityBot redueix la teva visibilitat als resultats de cerca de Perplexity sense excloure't de cap entrenament.
Fonts
- OpenAI: Resum dels rastrejadors d'OpenAI
- Anthropic: Anthropic rastreja dades del web i com poden bloquejar el rastrejador els propietaris de llocs?
- Google: Rastrejadors comuns, inclòs Google-Extended
- Ajuda de Google Search Console: control de la IA generativa a la Cerca
- Apple: Sobre Applebot
- Meta: Rastrejadors web de Meta
- Common Crawl: CCBot
- Perplexity: rastrejadors de Perplexity
- RFC 9309: Protocol d'exclusió de robots
- Content Signals (contentsignals.org)
- Cloudflare: robots.txt gestionat i Content Signals
- AISeeWhy: Informe d'accés dels rastrejadors d'IA, 2026-11