ClaudeBot
ClaudeBot és el rastrejador d'Anthropic per a contingut web que es pot fer servir per entrenar els seus models d'IA generativa. Si no el permets a robots.txt, indiques que el contingut futur del teu lloc s'ha d'excloure de l'entrenament. Bloquejar-lo sol no atura Claude-SearchBot ni Claude-User, que serveixen la cerca i les respostes en directe.
Com permetre'l
User-agent: ClaudeBot
Allow: / Com bloquejar-lo
User-agent: ClaudeBot
Disallow: / Què fa
Anthropic diu que ClaudeBot recull contingut web que pot contribuir a entrenar els seus models, per ajudar a millorar-ne la utilitat i la seguretat. No permetre ClaudeBot indica que els materials futurs del teu lloc s'han d'excloure dels conjunts de dades d'entrenament.
Anthropic també admet la directiva no estàndard Crawl-delay, així que pots alentir ClaudeBot en lloc de bloquejar-lo. Les regles de robots.txt que nomenen ClaudeBot tenen prioritat sobre el senyal general d'Anthropic de no entrenar IA. Les regles de robots.txt s'apliquen per host, així que afegeix-les a cada subdomini que vulguis cobrir.
Al nostre estudi de 2026-11, el 21.2% dels llocs populars amb robots.txt el bloquejaven. →
Token de robots.txt
ClaudeBot
Com verificar les visites reals
Anthropic publica les adreces IP dels seus rastrejadors a claude.com/crawling/bots.json i diu que un rastrejador amb una IP d'aquesta llista és d'Anthropic. Compara la IP d'origen amb la llista en lloc de fiar-te del user agent. Anthropic desaconsella bloquejar per IP per excloure't, perquè així el rastrejador tampoc pot llegir robots.txt.
Comprova si el teu lloc el deixa entrar →
Els rastrejadors d'Anthropic: ClaudeBot, Claude-SearchBot i Claude-User →