Com bloquejar l'entrenament d'IA i continuar a les respostes de la cerca amb IA

Publicat

Resposta breu

La majoria de proveïdors d'IA fan servir tokens de robots.txt diferents per a l'entrenament de models i per a la cerca. Bloqueja els tokens d'entrenament, com GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent i CCBot, i permet els tokens de cerca i d'usuari, com OAI-SearchBot, Claude-SearchBot i PerplexityBot. Afegeix una línia Content-Signal per expressar la mateixa preferència amb paraules.

Molts propietaris de llocs volen dues coses alhora: no volen que el seu contingut s'utilitzi per entrenar models d'IA, però sí que volen que els assistents d'IA trobin, citin i enllacin les seves pàgines. Com que els grans proveïdors ara reparteixen aquestes feines entre rastrejadors o tokens diferents, el robots.txt pot expressar totes dues decisions. El problema és que els noms canvien d'un proveïdor a un altre, alguns proveïdors no segueixen el patró, i una sola línia equivocada et pot treure de les respostes d'IA en lloc de les dades d'entrenament.

En aquesta pàgina
  1. Quina diferència hi ha entre un rastrejador d'entrenament i un de cerca?
  2. Quins tokens controlen l'entrenament i quins la cerca?
  3. Com és el robots.txt?
  4. Quants llocs ja ho fan?
  5. Què hi afegeix Content-Signal?
  6. On no funciona bé la separació?
  7. Com comprovo que la separació funciona?

Quina diferència hi ha entre un rastrejador d'entrenament i un de cerca?

Un rastrejador d'entrenament recull pàgines que es poden fer servir per construir o millorar models d'IA. L'entrenament per si sol no genera cap cita ni cap enllaç. Un rastrejador de cerca construeix un índex que un assistent d'IA fa servir per trobar fonts per a una resposta, i aquestes fonts són les que pot citar. Un agent activat per l'usuari obre una pàgina en directe perquè algú n'ha preguntat.

Els proveïdors documenten aquests rols per separat i diuen que la configuració és independent. OpenAI, per exemple, diu que cada configuració del robots.txt per als seus rastrejadors és independent de les altres. Així, una exclusió de l'entrenament ben feta no toca la teva visibilitat a la cerca.

Quins tokens controlen l'entrenament i quins la cerca?

Aquests són els tokens que documenten els proveïdors, agrupats segons el que controlen:

Com és el robots.txt?

Diverses línies User-agent seguides formen un sol grup segons l'RFC 9309, així que les regles s'apliquen a cadascuna. Aquest fitxer exclou els tokens d'entrenament anteriors, permet els agents de cerca i d'usuari, i manté un camí privat tancat per a tothom:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Hi ha dos detalls importants. Primer, un grup amb nom no hereta res de *, així que els camins privats s'han de repetir al grup de cerca. Segon, no afegeixis Googlebot ni Applebot al grup d'entrenament: són els rastrejadors de cerca, i bloquejar-los et treu de la Cerca de Google i de les funcions de cerca d'Apple. Els canvis no són immediats: OpenAI parla d'unes 24 hores per a la cerca, i Perplexity, de fins a 24 hores.

Quants llocs ja ho fan?

Menys dels que esperaries. El 2026-11-12 vam llegir els fitxers robots.txt dels 1.000 dominis més populars de la llista Tranco. Dels 518 que servien un robots.txt, 155 (29,9 %) bloquegen la pàgina d'inici a com a mínim un rastrejador d'entrenament d'IA. Només 57 (11,0 %) segueixen el camí selectiu: bloquegen els rastrejadors d'entrenament i permeten tots els rastrejadors de cerca i d'usuari d'IA que vam provar. En total, 101 llocs (19,5 %) bloquegen com a mínim un rastrejador de cerca o d'usuari d'IA.

Les xifres rastrejador per rastrejador mostren la mateixa divisió. GPTBot està bloquejat a 111 llocs (21,4 %) i OAI-SearchBot a 58 (11,2 %). ClaudeBot està bloquejat a 110 (21,2 %) i Claude-SearchBot a 67 (12,9 %). Google-Extended està bloquejat a 94 (18,1 %), i Googlebot a 14 (2,7 %). Només 18 llocs (3,5 %) fan servir Content-Signal.

L'estudi només mira les regles del robots.txt per a la pàgina d'inici. No mesura els bloquejos de tallafoc ni mostra què pretenia cada lloc.

Què hi afegeix Content-Signal?

Content Signals és una extensió del robots.txt publicada per Cloudflare a contentsignals.org. Una línia Content-Signal indica com es pot fer servir el contingut, amb tres senyals: search (construir un índex de cerca i mostrar enllaços i fragments breus), ai-input (posar contingut en models d'IA en temps real, com la fonamentació o la recuperació per a respostes generatives) i ai-train (entrenar o ajustar models).

Fixa't que la definició de search exclou els resums de cerca generats per IA. Si vols aparèixer a les respostes d'IA, posa també ai-input=yes, com a l'exemple anterior. El robots.txt gestionat de Cloudflare afegeix search=yes, ai-train=no per defecte; un senyal que no indiques ni concedeix ni restringeix aquest ús.

Són preferències declarades. El lloc de Content Signals diu que no impedeixen el rastreig a nivell tècnic, i Cloudflare recorda que complir el robots.txt és voluntari. Cap de les pàgines sobre rastrejadors d'OpenAI, Anthropic, Google o Perplexity que vam consultar diu si llegeixen Content-Signal, així que fes-lo servir com a complement dels grups per rastrejador, no com a substitut.

On no funciona bé la separació?

Alguns casos requereixen atenció:

Com comprovo que la separació funciona?

Llegeix el robots.txt com ho faria cada rastrejador: busca el grup que el nomena, recorre a * només si no n'hi ha cap, i aplica la regla coincident més llarga. Després demana una pàgina amb el user agent de cada rastrejador de cerca i confirma que rep un 200 amb el contingut complet, no un 403 ni una pàgina de desafiament.

AISeeWhy fa totes dues coses per a 14 rastrejadors, agrupats en agents d'entrenament, de cerca i d'usuari, i marca l'error més habitual: bloquejar un token de cerca com PerplexityBot o Claude-SearchBot quan la intenció era bloquejar l'entrenament.

Eines gratuïtes

Passos següents

Rastrejadors en aquest article

Preguntes freqüents

Si bloquejo GPTBot, el meu lloc desapareixerà de les respostes de ChatGPT?

No. OpenAI diu que GPTBot és per a l'entrenament i que cada configuració del robots.txt és independent. La cerca de ChatGPT fa servir OAI-SearchBot; mentre estigui permès i el tallafoc no el bloquegi, les teves pàgines continuen sent elegibles.

Bloquejar Google-Extended em treu de les AI Overviews?

No, segons la documentació de Google. Google diu que Google-Extended no afecta la inclusió a la Cerca de Google, i les AI Overviews es basen en l'índex de la Cerca. Google ofereix un control separat a Search Console per excloure un lloc de les AI Overviews i l'AI Mode.

Hi ha una sola línia que bloquegi tot l'entrenament d'IA?

Cap línia estàndard ho fa. Content-Signal: ai-train=no expressa la preferència per a tots els rastrejadors, però que un rastrejador la respecti depèn del seu operador. La via documentada són grups amb nom per a cada token d'entrenament.

Hauria de bloquejar Perplexity per aturar l'entrenament d'IA?

Perplexity diu que els seus agents no s'utilitzen per recollir dades d'entrenament. Bloquejar PerplexityBot redueix la teva visibilitat als resultats de cerca de Perplexity sense excloure't de cap entrenament.

Fonts

Més articles