Els rastrejadors d'Anthropic: ClaudeBot, Claude-SearchBot i Claude-User
Anthropic fa servir tres agents: ClaudeBot recull contingut que es pot fer servir per entrenar els seus models, Claude-SearchBot rastreja per millorar els resultats de cerca de Claude, i Claude-User obté pàgines quan la pregunta d'un usuari de Claude les necessita. Cadascun té el seu token del robots.txt, i Anthropic diu que tots tres respecten el robots.txt. Bloquejar només ClaudeBot no atura la cerca ni les obtencions per a usuaris.
Anthropic documenta els seus rastrejadors en una sola pàgina d'ajuda, i l'estructura és la mateixa que la d'altres proveïdors d'IA: un agent per a l'entrenament, un per a la cerca i un per a les obtencions en directe en nom d'un usuari. Si vols que Claude pugui trobar i citar les teves pàgines, els dos últims són els que més importen.
En aquesta pàgina
Què fa ClaudeBot?
ClaudeBot recull contingut web que podria contribuir a l'entrenament dels models d'IA generativa d'Anthropic. Segons Anthropic, bloquejar-lo indica que el contingut futur del teu lloc s'ha d'excloure dels conjunts de dades d'entrenament.
Anthropic també diu que respecta un senyal llegible per màquines de no entrenament d'IA basat en un esborrany de l'IETF, i que les regles del robots.txt que nomenen ClaudeBot tenen prioritat sobre aquesta configuració general. Com amb altres rastrejadors d'entrenament, bloquejar-lo és una decisió de política.
Què fa Claude-SearchBot?
Claude-SearchBot rastreja el web per millorar la rellevància i la precisió dels resultats de cerca de Claude. Anthropic diu que bloquejar-lo impedeix que el teu contingut s'indexi per a la cerca, cosa que pot reduir la teva visibilitat i la precisió amb què apareixes als resultats de cerca dels usuaris.
Aquest és l'agent que has de permetre si vols que les funcions de cerca de Claude coneguin les teves pàgines abans que ningú en pregunti. Com que és un rastrejador de cerca, l'ajuden les mateixes coses que a qualsevol rastrejador de cerca: un sitemap indicat al robots.txt, un enllaçat intern net i pàgines que retornen el seu contingut a la primera resposta.
Què fa Claude-User?
Claude-User accedeix a un lloc web quan un usuari de Claude fa una pregunta que ho requereix, per exemple quan algú comparteix una URL o demana a Claude que busqui alguna cosa. Anthropic diu que bloquejar-lo impedeix obtenir pàgines en resposta a consultes dels usuaris, cosa que pot reduir la teva visibilitat a les cerques web que fan els usuaris.
Fixa't en una diferència amb altres proveïdors. Anthropic afirma que els seus bots respecten les directives del robots.txt, i descriu com bloquejar Claude-User a través del robots.txt. OpenAI i Perplexity, en canvi, diuen que els seus agents que actuen a petició dels usuaris poden no seguir el robots.txt.
Com escric les regles del robots.txt per a Claude?
Cada agent té el seu token, i segons l'RFC 9309 un grup que nomena un rastrejador substitueix el grup * per a aquell rastrejador. Una opció habitual és permetre la cerca i les obtencions per a usuaris i excloure's de l'entrenament:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / Anthropic també admet Crawl-delay com a extensió no estàndard, per exemple Crawl-delay: 1 sota User-agent: ClaudeBot, si vols alentir el rastreig en lloc de bloquejar-lo. Les regles han de ser al robots.txt del directori arrel de cada amfitrió, així que afegeix-les a tots els subdominis que vulguis cobrir.
Com es compara la configuració d'Anthropic amb la d'OpenAI i Perplexity?
Els tres proveïdors segueixen el mateix patró amb noms diferents, cosa que fa fàcil raonar sobre un robots.txt combinat. La diferència principal és com tracta cadascun el robots.txt en les obtencions en directe a petició d'un usuari.
- Rastrejador de cerca:
Claude-SearchBotper a Anthropic,OAI-SearchBotper a OpenAI,PerplexityBotper a Perplexity. - Rastrejador d'entrenament:
ClaudeBotper a Anthropic,GPTBotper a OpenAI. Perplexity diu quePerplexityBotno s'utilitza per rastrejar contingut per a models fundacionals d'IA. - Obtencions per a usuaris:
Claude-User,ChatGPT-UseriPerplexity-User. Anthropic diu que els seus bots respecten el robots.txt; OpenAI diu que el robots.txt pot no aplicar-se aChatGPT-User; Perplexity diu quePerplexity-Useren general l'ignora.
Si escrius un sol robots.txt per als tres, posa els tokens de cerca i d'usuari en un grup i els d'entrenament en un altre. Així la política es llegeix bé i queda clar quina decisió has pres per a cada finalitat.
Hauria de bloquejar Anthropic per adreça IP?
Anthropic ho desaconsella. La seva documentació diu que bloquejar adreces IP pot no funcionar correctament ni garantir de manera duradora l'exclusió, perquè també impedeix que el rastrejador llegeixi el teu robots.txt. Fes servir el robots.txt per expressar la teva política.
Anthropic sí que publica les adreces IP dels seus rastrejadors a claude.com/crawling/bots.json. La manera útil de fer servir aquesta llista és la contrària de bloquejar: que el teu tallafoc verifiqui que una petició que diu ser Claude-SearchBot o Claude-User ve realment d'Anthropic, i la deixi passar.
Per què Claude podria continuar sense poder llegir la meva pàgina?
Encara que el robots.txt ho permeti, el teu tallafoc o la teva CDN poden respondre als agents d'Anthropic amb un 403 o una pàgina de desafiament. Anthropic diu que els seus bots respecten les tecnologies contra l'elusió i que no intentaran saltar-se els CAPTCHA, així que una pàgina de desafiament simplement acaba la visita. Les pàgines amb un text que només apareix després d'executar JavaScript també poden arribar gairebé buides.
AISeeWhy demana la teva pàgina com a ClaudeBot, Claude-SearchBot i Claude-User al costat d'un navegador i comprova les regles del teu robots.txt per a cadascun, perquè vegis si la política que has escrit és la que aplica el teu servidor.
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Comprovació d'IP de rastrejadors d'IA
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Preguntes freqüents
Bloquejar ClaudeBot treu el meu lloc de les respostes de Claude?
No per si sol. La indexació per a la cerca i les obtencions demanades pels usuaris fan servir Claude-SearchBot i Claude-User, que tenen els seus propis tokens del robots.txt.
Claude-User respecta el robots.txt?
Anthropic diu que els seus bots respecten el robots.txt i descriu com bloquejar-hi Claude-User, amb l'efecte que Claude no pot obtenir les teves pàgines per a les preguntes dels usuaris.
Els rastrejadors d'Anthropic resoldran un CAPTCHA?
No. Anthropic diu que els seus bots respecten les tecnologies contra l'elusió i que no intentaran saltar-se els CAPTCHA.
Puc alentir ClaudeBot en lloc de bloquejar-lo?
Sí. Anthropic admet Crawl-delay com a extensió no estàndard, per exemple Crawl-delay: 1 al grup ClaudeBot del teu robots.txt.
Com puc verificar que una petició ve realment d'Anthropic?
Compara la IP d'origen amb la llista que Anthropic publica a claude.com/crawling/bots.json. Un user agent sol el pot copiar qualsevol.
Fonts
- Anthropic: Anthropic rastreja dades del web i com poden bloquejar el rastrejador els propietaris de llocs?
- RFC 9309: Protocol d'exclusió de robots