robots.txt per a rastrejadors d'IA: què permetre i què bloquejar

Publicat

Resposta breu

Dona a cada rastrejador d'IA que t'importi el seu propi grup User-agent. Permet els rastrejadors de cerca com OAI-SearchBot, Claude-SearchBot i PerplexityBot si vols que et citin, i decideix per separat sobre els tokens d'entrenament com GPTBot, ClaudeBot, Google-Extended i Applebot-Extended. Un grup amb nom substitueix el grup * per a aquell rastrejador.

El robots.txt és un fitxer de text pla que existeix des del 1994 i que el 2022 es va convertir en un estàndard formal, l'RFC 9309. La majoria de proveïdors d'IA diuen que els seus rastrejadors el segueixen, i diversos publiquen tokens separats per a la cerca i per a l'entrenament. Això fa del robots.txt el lloc més senzill per expressar una política sobre la IA, sempre que les regles vulguin dir el que creus que volen dir.

En aquesta pàgina
  1. Quins tokens del robots.txt fan servir els rastrejadors d'IA?
  2. Com és un bon robots.txt per a la IA?
  3. Com trien els rastrejadors quines regles se'ls apliquen?
  4. Quins són els errors més habituals al robots.txt?
  5. Puc expressar una política d'ús de la IA més enllà de permetre i bloquejar?
  6. Quant triguen els canvis i com els comprovo?

Quins tokens del robots.txt fan servir els rastrejadors d'IA?

Aquests són els tokens que documenten els proveïdors. Segons l'RFC 9309, la coincidència no distingeix majúscules de minúscules.

Com és un bon robots.txt per a la IA?

Aquest exemple deixa entrar la cerca amb IA i les obtencions per a usuaris, t'exclou dels principals tokens d'entrenament i manté una zona privada tancada per a tothom:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Diverses línies User-agent seguides formen un sol grup, així que les regles que hi ha a sota s'apliquen a cadascun d'aquests rastrejadors. Si vols que el teu contingut es faci servir per a l'entrenament, simplement treu el segon grup. Bloquejar Google-Extended no afecta la Cerca de Google: Google diu que no influeix en la inclusió a la Cerca i que no és un senyal de posicionament. De la mateixa manera, Apple diu que les pàgines que bloquegen Applebot-Extended poden continuar apareixent als seus resultats de cerca.

Com trien els rastrejadors quines regles se'ls apliquen?

L'RFC 9309 ho defineix amb precisió, i els detalls expliquen la majoria de sorpreses:

Quins són els errors més habituals al robots.txt?

Puc expressar una política d'ús de la IA més enllà de permetre i bloquejar?

Cloudflare ha proposat una línia Content-Signal per al robots.txt amb tres senyals: search (construir un índex de cerca i mostrar enllaços i fragments breus), ai-input (fer servir contingut en temps real per a respostes d'IA) i ai-train (entrenar o ajustar models). El robots.txt gestionat de Cloudflare la pot afegir per tu.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Com tot el que hi ha al robots.txt, són preferències, no controls tècnics. La mateixa Cloudflare recorda que complir el robots.txt és voluntari. La línia és opcional i no fa cap mal, però no substitueix els grups per rastrejador anteriors.

Quant triguen els canvis i com els comprovo?

L'RFC 9309 diu que els rastrejadors no haurien de fer servir un robots.txt en memòria cau durant més de 24 hores, i tant OpenAI com Perplexity diuen que els canvis poden trigar un dia a aplicar-se. Recorda també que el robots.txt no és un control d'accés: un tallafoc pot bloquejar igualment un rastrejador que les teves regles permeten.

AISeeWhy analitza el teu robots.txt segons l'RFC 9309 per a cada rastrejador que prova, marca els fitxers inaccessibles o servits com a HTML, mostra on no coincideixen les teves regles i el teu servidor, i et dona un diff a punt per al canvi.

Correccions per a aquest problema

Eines gratuïtes

Passos següents

Rastrejadors en aquest article

Preguntes freqüents

Bloquejar GPTBot o ClaudeBot perjudica la meva visibilitat a les respostes d'IA?

No directament. Tots dos proveïdors fan servir rastrejadors de cerca separats, OAI-SearchBot i Claude-SearchBot, per a la cerca. Bloquejar el rastrejador d'entrenament és una decisió de política.

Google-Extended atura les AI Overviews?

No. Google diu que les funcions d'IA de la Cerca fan servir Googlebot i els controls habituals de la Cerca, com nosnippet i noindex. Google-Extended cobreix l'entrenament de Gemini i la fonamentació en altres productes de Google, i no afecta la Cerca.

Els rastrejadors d'IA admeten Crawl-delay?

No forma part de l'RFC 9309. Anthropic diu que admet Crawl-delay com a extensió no estàndard; per als altres proveïdors, consulta la seva documentació.

On ha de ser el robots.txt?

A l'arrel de cada amfitrió, per exemple https://example.com/robots.txt. Un fitxer en una subcarpeta s'ignora, i cada subdomini necessita el seu.

Fonts

Més articles