Tria quins rastrejadors d'IA poden llegir el teu lloc i copia el robots.txt generat. Una opció habitual és bloquejar els rastrejadors d'entrenament d'IA com GPTBot i ClaudeBot, però permetre els rastrejadors de cerca amb IA com OAI-SearchBot i PerplexityBot, perquè les teves pàgines continuïn apareixent i siguin citades a les respostes d'IA.
Bloquejar els agents que obtenen pàgines a petició d'un usuari té un efecte limitat: alguns proveïdors diuen que aquests agents poden no seguir robots.txt, perquè és una persona qui ha demanat la pàgina. Prova el resultat amb el comprovador de robots.txt abans de publicar-lo. Comprovador i provador de robots.txt per a rastrejadors d'IA →
Com fer-lo servir
Posa el fitxer a l'arrel del teu domini (https://example.com/robots.txt). Si ja tens regles per a altres rastrejadors, conserva-les i afegeix només els grups d'IA. Els canvis tenen efecte la propera vegada que cada rastrejador llegeix el fitxer, normalment en menys d'un dia.
Aquest text s'ha traduït de l'anglès de manera automàtica.
Què escriu el generador
Marca els rastrejadors que poden llegir el teu lloc i desmarca els que vols bloquejar. El generador escriu un robots.txt amb un grup per cada rastrejador bloquejat, User-agent: <token> seguit de Disallow: /, i després un grup final User-agent: * que permet tota la resta. Afegeix l'adreça d'un sitemap i hi afegirà una línia Sitemap. Marca opcions de Content-Signal i hi afegirà una línia Content-Signal que indica com es pot fer servir el teu contingut.
Res no surt del teu navegador: el fitxer es construeix a la pàgina mentre fas clic, i el copies del quadre de resultat.
Amb quina configuració predefinida començar
Permet-ho tot: qualsevol rastrejador pot llegir qualsevol pàgina. Adequat per a la majoria de llocs que volen ser trobats i citats.
Bloqueja l'entrenament, permet la cerca amb IA: els rastrejadors d'entrenament com GPTBot, ClaudeBot, CCBot i Google-Extended queden bloquejats; els rastrejadors de cerca i d'usuari com OAI-SearchBot, Claude-SearchBot, PerplexityBot i ChatGPT-User continuen permesos. Les teves pàgines poden continuar apareixent i sent citades a les respostes d'IA.
Bloqueja tots els rastrejadors d'IA: es bloquegen tots els rastrejadors d'IA de la llista. Aquests rastrejadors no obtindran les teves pàgines per a respostes d'IA, cosa que sol voler dir menys citacions i menys trànsit des dels assistents.
Un exemple: bloquejar l'entrenament, permetre la cerca amb IA
Cada rastrejador bloquejat té el seu propi grup, així que el seu Disallow: / només s'aplica a ell. Tots els altres rastrejadors, inclosos OAI-SearchBot i Googlebot, passen a User-agent: * i ho poden llegir tot. La línia Content-Signal repeteix la mateixa intenció per als rastrejadors que la llegeixen: cerca i respostes en temps real sí, entrenament no.
Combina, no substitueixis. Si el teu robots.txt actual té regles per a àrees d'administració, cistelles o pàgines de cerca, copia-les al grup User-agent: * del fitxer nou, o obriràs aquestes àrees a tots els rastrejadors.
Posa el fitxer a l'arrel de cada amfitrió: https://example.com/robots.txt. Un subdomini necessita el seu propi fitxer.
Serveix-lo com a text pla amb l'estat 200. Una pàgina HTML o un error en aquesta adreça no funciona com a robots.txt.
Enganxa el resultat al provador de robots.txt i comprova unes quantes rutes reals per als rastrejadors que t'interessen.
Recorda que robots.txt és una petició. Si un tallafoc bloqueja un rastrejador que permets, el fitxer no ho pot arreglar; la comprovació completa ho mostra.
Errors habituals
Bloquejar OAI-SearchBot o PerplexityBot per aturar l'entrenament. Són rastrejadors de cerca; bloquejar-los et treu de les respostes.
Escriure diverses línies User-agent damunt d'un sol Disallow: / quan només en volies bloquejar una: les línies apilades formen un grup.
Esperar que els agents que obtenen pàgines a petició de l'usuari, com ChatGPT-User, respectin un bloqueig. Alguns proveïdors diuen que aquests agents poden no seguir robots.txt quan una persona ha demanat la pàgina.
Afegir línies Crawl-delay o Noindex. No formen part de l'RFC 9309 i Google les ignora totes dues.
Preguntes freqüents
Bloquejar GPTBot treu el meu lloc de ChatGPT?
No. GPTBot recull dades d'entrenament. La cerca de ChatGPT fa servir OAI-SearchBot, i ChatGPT-User obre les pàgines que demanen les persones. Deixa'ls permesos si vols que et citin.
Què és Content-Signal?
Una línia de robots.txt que indica com es pot fer servir el teu contingut: search, ai-input (respostes en temps real) i ai-train (entrenament), cadascun amb sí o no. El suport varia segons el proveïdor; els grups específics de cada rastrejador continuen sent la regla que segueixen els rastrejadors.
Google-Extended afecta la Cerca de Google?
No. És un token exclusiu de robots.txt que controla si Google pot fer servir les teves pàgines per als seus models d'IA; no canvia el rastreig ni el posicionament a la Cerca de Google.
La meva elecció s'envia a algun lloc?
No. El generador funciona al teu navegador i no s'envia res al nostre servidor fins que decideixis provar el fitxer.