robots.txt per a rastrejadors d'IA: què permetre i què bloquejar
Dona a cada rastrejador d'IA que t'importi el seu propi grup User-agent. Permet els rastrejadors de cerca com OAI-SearchBot, Claude-SearchBot i PerplexityBot si vols que et citin, i decideix per separat sobre els tokens d'entrenament com GPTBot, ClaudeBot, Google-Extended i Applebot-Extended. Un grup amb nom substitueix el grup * per a aquell rastrejador.
El robots.txt és un fitxer de text pla que existeix des del 1994 i que el 2022 es va convertir en un estàndard formal, l'RFC 9309. La majoria de proveïdors d'IA diuen que els seus rastrejadors el segueixen, i diversos publiquen tokens separats per a la cerca i per a l'entrenament. Això fa del robots.txt el lloc més senzill per expressar una política sobre la IA, sempre que les regles vulguin dir el que creus que volen dir.
En aquesta pàgina
- Quins tokens del robots.txt fan servir els rastrejadors d'IA?
- Com és un bon robots.txt per a la IA?
- Com trien els rastrejadors quines regles se'ls apliquen?
- Quins són els errors més habituals al robots.txt?
- Puc expressar una política d'ús de la IA més enllà de permetre i bloquejar?
- Quant triguen els canvis i com els comprovo?
Quins tokens del robots.txt fan servir els rastrejadors d'IA?
Aquests són els tokens que documenten els proveïdors. Segons l'RFC 9309, la coincidència no distingeix majúscules de minúscules.
- OpenAI:
OAI-SearchBot(cerca de ChatGPT),GPTBot(entrenament),ChatGPT-User(visites demanades per usuaris; OpenAI diu que el robots.txt pot no aplicar-s'hi). - Anthropic:
Claude-SearchBot(cerca),ClaudeBot(entrenament),Claude-User(visites demanades per usuaris). - Perplexity:
PerplexityBot(cerca),Perplexity-User(visites demanades per usuaris; Perplexity diu que en general ignora el robots.txt). - Google:
Googlebot(la Cerca, incloses les seves funcions d'IA) iGoogle-Extended, un token sense rastrejador propi que controla l'ús en l'entrenament i la fonamentació de Gemini. - Apple:
Applebot(cerca de Spotlight, Siri i Safari) iApplebot-Extended, que no rastreja però controla l'ús per entrenar els models fundacionals d'Apple. - Meta:
meta-externalagent(entrenament i indexació de productes) imeta-webindexer(cerca de Meta AI). - Common Crawl:
CCBot, que construeix l'arxiu públic i gratuït de dades web de Common Crawl.
Com és un bon robots.txt per a la IA?
Aquest exemple deixa entrar la cerca amb IA i les obtencions per a usuaris, t'exclou dels principals tokens d'entrenament i manté una zona privada tancada per a tothom:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Diverses línies User-agent seguides formen un sol grup, així que les regles que hi ha a sota s'apliquen a cadascun d'aquests rastrejadors. Si vols que el teu contingut es faci servir per a l'entrenament, simplement treu el segon grup. Bloquejar Google-Extended no afecta la Cerca de Google: Google diu que no influeix en la inclusió a la Cerca i que no és un senyal de posicionament. De la mateixa manera, Apple diu que les pàgines que bloquegen Applebot-Extended poden continuar apareixent als seus resultats de cerca.
Com trien els rastrejadors quines regles se'ls apliquen?
L'RFC 9309 ho defineix amb precisió, i els detalls expliquen la majoria de sorpreses:
- Un rastrejador busca el grup amb un
User-agentque coincideixi amb el seu token de producte, sense distingir majúscules de minúscules. Si coincideixen diversos grups, les seves regles es combinen en una de sola. - Només si no coincideix cap grup el rastrejador segueix el grup
User-agent: *. Un grup amb nom no hereta res de*. - Dins del grup, guanya la regla amb el camí coincident més llarg.
Allow: /blog/guanya aDisallow: /per a/blog/post. - Si una regla
Allowi unaDisallowcoincideixen amb la mateixa longitud, s'ha d'aplicarAllow. *en un camí coincideix amb qualsevol caràcter i$marca el final, així queDisallow: /*.pdf$cobreix tots els PDF.
Quins són els errors més habituals al robots.txt?
- Esperar que un grup amb nom hereti de
*. Un grup per aOAI-SearchBotamb nomésAllow: /obre tots els camins, inclosos els que has bloquejat a*. - Una adreça de robots.txt que retorna una pàgina HTML, sovint una pàgina 404 servida amb l'estat 200. Els rastrejadors no hi troben cap regla vàlida.
- Un robots.txt que retorna un error del servidor. L'RFC 9309 diu que llavors un rastrejador ha de suposar que tot el lloc està bloquejat. Un 404 és diferent: vol dir que no hi ha restriccions.
- Bloquejar un token de cerca quan la intenció era bloquejar l'entrenament, per exemple bloquejar
PerplexityBotoClaude-SearchBotper evitar l'entrenament de models. - Confiar en el robots.txt per aturar les obtencions demanades per usuaris. Tant OpenAI com Perplexity diuen que els seus user agents poden no seguir-lo.
- Oblidar els subdominis. Cada amfitrió té el seu propi robots.txt; la documentació d'Anthropic recorda als propietaris de llocs que afegeixin regles per a cada subdomini.
Puc expressar una política d'ús de la IA més enllà de permetre i bloquejar?
Cloudflare ha proposat una línia Content-Signal per al robots.txt amb tres senyals: search (construir un índex de cerca i mostrar enllaços i fragments breus), ai-input (fer servir contingut en temps real per a respostes d'IA) i ai-train (entrenar o ajustar models). El robots.txt gestionat de Cloudflare la pot afegir per tu.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Com tot el que hi ha al robots.txt, són preferències, no controls tècnics. La mateixa Cloudflare recorda que complir el robots.txt és voluntari. La línia és opcional i no fa cap mal, però no substitueix els grups per rastrejador anteriors.
Quant triguen els canvis i com els comprovo?
L'RFC 9309 diu que els rastrejadors no haurien de fer servir un robots.txt en memòria cau durant més de 24 hores, i tant OpenAI com Perplexity diuen que els canvis poden trigar un dia a aplicar-se. Recorda també que el robots.txt no és un control d'accés: un tallafoc pot bloquejar igualment un rastrejador que les teves regles permeten.
AISeeWhy analitza el teu robots.txt segons l'RFC 9309 per a cada rastrejador que prova, marca els fitxers inaccessibles o servits com a HTML, mostra on no coincideixen les teves regles i el teu servidor, i et dona un diff a punt per al canvi.
Correccions per a aquest problema
- robots.txt permet GPTBot, però el servidor el bloqueja
- robots.txt no permet OAI-SearchBot
- robots.txt és una pàgina HTML
- No hi ha Content-Signal a robots.txt
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Preguntes freqüents
Bloquejar GPTBot o ClaudeBot perjudica la meva visibilitat a les respostes d'IA?
No directament. Tots dos proveïdors fan servir rastrejadors de cerca separats, OAI-SearchBot i Claude-SearchBot, per a la cerca. Bloquejar el rastrejador d'entrenament és una decisió de política.
Google-Extended atura les AI Overviews?
No. Google diu que les funcions d'IA de la Cerca fan servir Googlebot i els controls habituals de la Cerca, com nosnippet i noindex. Google-Extended cobreix l'entrenament de Gemini i la fonamentació en altres productes de Google, i no afecta la Cerca.
Els rastrejadors d'IA admeten Crawl-delay?
No forma part de l'RFC 9309. Anthropic diu que admet Crawl-delay com a extensió no estàndard; per als altres proveïdors, consulta la seva documentació.
On ha de ser el robots.txt?
A l'arrel de cada amfitrió, per exemple https://example.com/robots.txt. Un fitxer en una subcarpeta s'ignora, i cada subdomini necessita el seu.
Fonts
- RFC 9309: Protocol d'exclusió de robots
- OpenAI: Resum dels rastrejadors d'OpenAI
- Google: Rastrejadors comuns, inclòs Google-Extended
- Apple: Sobre Applebot
- Cloudflare: robots.txt gestionat i Content Signals