ClaudeBot

Anthropic · Entrenament d'IA

ClaudeBot és el rastrejador d'Anthropic per a contingut web que es pot fer servir per entrenar els seus models d'IA generativa. Si no el permets a robots.txt, indiques que el contingut futur del teu lloc s'ha d'excloure de l'entrenament. Bloquejar-lo sol no atura Claude-SearchBot ni Claude-User, que serveixen la cerca i les respostes en directe.

Com permetre'l

User-agent: ClaudeBot
Allow: /

Com bloquejar-lo

User-agent: ClaudeBot
Disallow: /

Què fa

Anthropic diu que ClaudeBot recull contingut web que pot contribuir a entrenar els seus models, per ajudar a millorar-ne la utilitat i la seguretat. No permetre ClaudeBot indica que els materials futurs del teu lloc s'han d'excloure dels conjunts de dades d'entrenament.

Anthropic també admet la directiva no estàndard Crawl-delay, així que pots alentir ClaudeBot en lloc de bloquejar-lo. Les regles de robots.txt que nomenen ClaudeBot tenen prioritat sobre el senyal general d'Anthropic de no entrenar IA. Les regles de robots.txt s'apliquen per host, així que afegeix-les a cada subdomini que vulguis cobrir.

Al nostre estudi de 2026-11, el 21.2% dels llocs populars amb robots.txt el bloquejaven. →

Token de robots.txt

ClaudeBot

Com verificar les visites reals

Anthropic publica les adreces IP dels seus rastrejadors a claude.com/crawling/bots.json i diu que un rastrejador amb una IP d'aquesta llista és d'Anthropic. Compara la IP d'origen amb la llista en lloc de fiar-te del user agent. Anthropic desaconsella bloquejar per IP per excloure't, perquè així el rastrejador tampoc pot llegir robots.txt.

Comprova si el teu lloc el deixa entrar →

Els rastrejadors d'Anthropic: ClaudeBot, Claude-SearchBot i Claude-User →