ClaudeBot
ClaudeBot è il crawler di Anthropic per i contenuti web che possono essere usati per addestrare i suoi modelli di AI generativa. Vietarlo nel robots.txt segnala che i contenuti futuri del tuo sito vanno esclusi dall'addestramento. Bloccarlo da solo non ferma Claude-SearchBot né Claude-User, che servono la ricerca e le risposte in tempo reale.
Cosa fa
Anthropic afferma che ClaudeBot raccoglie contenuti web che potrebbero contribuire all'addestramento dei suoi modelli, per migliorarne l'utilità e la sicurezza. Vietare ClaudeBot segnala che i materiali futuri del tuo sito vanno esclusi dai dataset di addestramento.
Anthropic supporta anche la direttiva non standard Crawl-delay, quindi puoi rallentare ClaudeBot invece di bloccarlo. Le regole del robots.txt che nominano ClaudeBot hanno la precedenza sul segnale generale di Anthropic contro l'addestramento AI. Le regole del robots.txt valgono per host, quindi aggiungile a ogni sottodominio che vuoi coprire.
Nel nostro studio di 2026-11, 21.2% dei siti popolari con un robots.txt lo bloccava. →
Token robots.txt
ClaudeBot
Come consentirlo
User-agent: ClaudeBot
Allow: /Come bloccarlo
User-agent: ClaudeBot
Disallow: /Come verificare le visite reali
Anthropic pubblica gli indirizzi IP dei suoi crawler su claude.com/crawling/bots.json e dichiara che un crawler il cui IP è presente in quell'elenco proviene da Anthropic. Confronta l'IP di origine con l'elenco invece di fidarti dello user agent. Anthropic sconsiglia di usare il blocco per IP per rinunciare, perché impedisce anche al crawler di leggere il robots.txt.
Controlla se il tuo sito lo lascia entrare →
I crawler di Anthropic: ClaudeBot, Claude-SearchBot e Claude-User →