Generador de robots.txt per a rastrejadors d'IA

Tria quins rastrejadors d'IA poden llegir el teu lloc i copia el robots.txt generat. Una opció habitual és bloquejar els rastrejadors d'entrenament d'IA com GPTBot i ClaudeBot, però permetre els rastrejadors de cerca amb IA com OAI-SearchBot i PerplexityBot, perquè les teves pàgines continuïn apareixent i siguin citades a les respostes d'IA.

Comença des de
Entrenament d'IA
Cerca amb IA
Peticions d'usuari
Content-Signal (opcional): marca el que permets

Bloquejar els agents que obtenen pàgines a petició d'un usuari té un efecte limitat: alguns proveïdors diuen que aquests agents poden no seguir robots.txt, perquè és una persona qui ha demanat la pàgina. Prova el resultat amb el comprovador de robots.txt abans de publicar-lo. Comprovador i provador de robots.txt per a rastrejadors d'IA →

Com fer-lo servir

Posa el fitxer a l'arrel del teu domini (https://example.com/robots.txt). Si ja tens regles per a altres rastrejadors, conserva-les i afegeix només els grups d'IA. Els canvis tenen efecte la propera vegada que cada rastrejador llegeix el fitxer, normalment en menys d'un dia.

Fes la comprovació completa →

Guia

Com fer servir el generador de robots.txt

Aquest text s'ha traduït de l'anglès de manera automàtica.

Què escriu el generador

Marca els rastrejadors que poden llegir el teu lloc i desmarca els que vols bloquejar. El generador escriu un robots.txt amb un grup per cada rastrejador bloquejat, User-agent: <token> seguit de Disallow: /, i després un grup final User-agent: * que permet tota la resta. Afegeix l'adreça d'un sitemap i hi afegirà una línia Sitemap. Marca opcions de Content-Signal i hi afegirà una línia Content-Signal que indica com es pot fer servir el teu contingut.

Res no surt del teu navegador: el fitxer es construeix a la pàgina mentre fas clic, i el copies del quadre de resultat.

Amb quina configuració predefinida començar

Un exemple: bloquejar l'entrenament, permetre la cerca amb IA

Cada rastrejador bloquejat té el seu propi grup, així que el seu Disallow: / només s'aplica a ell. Tots els altres rastrejadors, inclosos OAI-SearchBot i Googlebot, passen a User-agent: * i ho poden llegir tot. La línia Content-Signal repeteix la mateixa intenció per als rastrejadors que la llegeixen: cerca i respostes en temps real sí, entrenament no.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Abans de publicar

Errors habituals

Preguntes freqüents

Bloquejar GPTBot treu el meu lloc de ChatGPT?

No. GPTBot recull dades d'entrenament. La cerca de ChatGPT fa servir OAI-SearchBot, i ChatGPT-User obre les pàgines que demanen les persones. Deixa'ls permesos si vols que et citin.

Què és Content-Signal?

Una línia de robots.txt que indica com es pot fer servir el teu contingut: search, ai-input (respostes en temps real) i ai-train (entrenament), cadascun amb sí o no. El suport varia segons el proveïdor; els grups específics de cada rastrejador continuen sent la regla que segueixen els rastrejadors.

Google-Extended afecta la Cerca de Google?

No. És un token exclusiu de robots.txt que controla si Google pot fer servir les teves pàgines per als seus models d'IA; no canvia el rastreig ni el posicionament a la Cerca de Google.

La meva elecció s'envia a algun lloc?

No. El generador funciona al teu navegador i no s'envia res al nostre servidor fins que decideixis provar el fitxer.

Eines i guies relacionades