AISeeWhy
IT
Prova gratuita

I crawler di Anthropic: ClaudeBot, Claude-SearchBot e Claude-User

Pubblicato

Risposta breve

Anthropic gestisce tre agenti: ClaudeBot raccoglie contenuti che possono essere usati per addestrare i suoi modelli, Claude-SearchBot scansiona per migliorare i risultati di ricerca di Claude e Claude-User scarica le pagine quando la domanda di un utente di Claude lo richiede. Ciascuno ha il proprio token del robots.txt, e Anthropic dice che tutti e tre rispettano il robots.txt. Bloccare solo ClaudeBot non ferma né la ricerca né i download su richiesta dell'utente.

Anthropic documenta i suoi crawler in un'unica pagina di assistenza, e la struttura rispecchia quella di altri fornitori di IA: un agente per l'addestramento, uno per la ricerca e uno per i download in tempo reale per conto di un utente. Se vuoi che Claude possa trovare e citare le tue pagine, gli ultimi due sono quelli che contano di più.

In questa pagina
  1. Che cosa fa ClaudeBot?
  2. Che cosa fa Claude-SearchBot?
  3. Che cosa fa Claude-User?
  4. Come scrivo le regole del robots.txt per Claude?
  5. Come si confronta l'impostazione di Anthropic con quella di OpenAI e Perplexity?
  6. Devo bloccare Anthropic per indirizzo IP?
  7. Perché Claude potrebbe comunque non leggere la mia pagina?

Che cosa fa ClaudeBot?

ClaudeBot raccoglie contenuti web che potrebbero contribuire all'addestramento dei modelli di IA generativa di Anthropic. Secondo Anthropic, vietarlo segnala che i contenuti futuri del tuo sito devono essere esclusi dai dataset di addestramento.

Anthropic dice anche di rispettare un segnale leggibile dalle macchine di divieto di addestramento dell'IA basato su una bozza dell'IETF, e che le regole che nominano ClaudeBot nel robots.txt hanno la precedenza su quell'impostazione generale. Come per gli altri crawler di addestramento, bloccarlo è una scelta di principio.

Che cosa fa Claude-SearchBot?

Claude-SearchBot scansiona il web per migliorare la pertinenza e l'accuratezza dei risultati di ricerca in Claude. Anthropic dice che bloccarlo impedisce l'indicizzazione dei tuoi contenuti per la ricerca, il che può ridurre la tua visibilità e l'accuratezza nei risultati di ricerca degli utenti.

È l'agente da consentire se vuoi che le funzioni di ricerca di Claude conoscano le tue pagine prima che qualcuno le chieda. Poiché è un crawler di ricerca, trae vantaggio dalle stesse cose di qualsiasi crawler di ricerca: una sitemap indicata nel robots.txt, link interni puliti e pagine che restituiscono il contenuto già nella prima risposta.

Che cosa fa Claude-User?

Claude-User accede a un sito web quando un utente di Claude fa una domanda che lo richiede, per esempio quando qualcuno condivide un URL o chiede a Claude di cercare qualcosa. Anthropic dice che bloccarlo impedisce il recupero in risposta alle richieste degli utenti, il che può ridurre la tua visibilità nella ricerca web guidata dall'utente.

Nota una differenza rispetto ad altri fornitori. Anthropic afferma che i suoi bot rispettano le direttive del robots.txt, e descrive il blocco di Claude-User tramite quel file. OpenAI e Perplexity, invece, dicono che i loro agenti di download su richiesta dell'utente potrebbero non seguire il robots.txt.

Come scrivo le regole del robots.txt per Claude?

Ogni agente ha il proprio token, e un gruppo che nomina un crawler sostituisce il gruppo * per quel crawler secondo la RFC 9309. Una scelta comune è consentire ricerca e download su richiesta dell'utente ed escludere l'addestramento:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic supporta anche Crawl-delay come estensione non standard, per esempio Crawl-delay: 1 sotto User-agent: ClaudeBot, se vuoi rallentare la scansione invece di bloccarla. Le regole devono stare nel robots.txt della directory di primo livello di ogni host, quindi aggiungile a ogni sottodominio che vuoi coprire.

Come si confronta l'impostazione di Anthropic con quella di OpenAI e Perplexity?

I tre fornitori seguono lo stesso schema con nomi diversi, il che rende facile ragionare su un robots.txt unico. La differenza principale è come ciascuno tratta il robots.txt per i download in tempo reale su richiesta di un utente.

Se scrivi un unico robots.txt per tutti e tre, metti i token di ricerca e di download su richiesta dell'utente in un gruppo e i token di addestramento in un altro. In questo modo la politica resta leggibile ed è evidente quale scelta hai fatto per ciascuno scopo.

Devo bloccare Anthropic per indirizzo IP?

Anthropic lo sconsiglia. La sua documentazione dice che bloccare gli indirizzi IP potrebbe non funzionare correttamente né garantire in modo duraturo l'esclusione, perché impedisce anche al crawler di leggere il tuo robots.txt. Usa il robots.txt per dichiarare la tua politica.

Anthropic pubblica gli indirizzi IP dei suoi crawler su claude.com/crawling/bots.json. Il modo utile di usare quell'elenco è l'opposto del blocco: lascia che il tuo firewall verifichi che una richiesta che dice di essere Claude-SearchBot o Claude-User provenga davvero da Anthropic, e falla passare.

Perché Claude potrebbe comunque non leggere la mia pagina?

Anche con un robots.txt permissivo, il tuo firewall o la tua CDN possono rispondere agli agenti di Anthropic con un 403 o una pagina di verifica. Anthropic dice che i suoi bot rispettano le tecnologie anti-elusione e non cercheranno di aggirare i CAPTCHA, quindi una pagina di verifica pone semplicemente fine alla visita. Anche le pagine il cui testo compare solo dopo l'esecuzione di JavaScript possono arrivare quasi vuote.

AISeeWhy richiede la tua pagina come ClaudeBot, Claude-SearchBot e Claude-User accanto a un browser e controlla le tue regole del robots.txt per ciascuno, così puoi vedere se la politica che hai scritto è quella che il tuo server applica.

Domande frequenti

Bloccare ClaudeBot toglie il mio sito dalle risposte di Claude?

Non da solo. L'indicizzazione per la ricerca e i download richiesti dall'utente usano Claude-SearchBot e Claude-User, che hanno i propri token del robots.txt.

Claude-User rispetta il robots.txt?

Anthropic dice che i suoi bot rispettano il robots.txt e descrive il blocco di Claude-User lì, con l'effetto che Claude non può recuperare le tue pagine per le domande degli utenti.

I crawler di Anthropic risolvono i CAPTCHA?

No. Anthropic dice che i suoi bot rispettano le tecnologie anti-elusione e non cercheranno di aggirare i CAPTCHA.

Posso rallentare ClaudeBot invece di bloccarlo?

Sì. Anthropic supporta Crawl-delay come estensione non standard, per esempio Crawl-delay: 1 nel gruppo ClaudeBot del tuo robots.txt.

Come posso verificare che una richiesta provenga davvero da Anthropic?

Confronta l'IP di origine con l'elenco che Anthropic pubblica su claude.com/crawling/bots.json. Uno user agent può essere copiato da chiunque.

Fonti

Altri articoli