Claude-SearchBot
Claude-SearchBot scansiona il web per migliorare la pertinenza e l'accuratezza dei risultati di ricerca in Claude. Anthropic afferma che bloccarlo impedisce l'indicizzazione dei tuoi contenuti per la ricerca, il che può ridurre la tua visibilità e accuratezza nei risultati di ricerca degli utenti. Consentilo se vuoi che Claude trovi e citi le tue pagine.
Cosa fa
Anthropic usa Claude-SearchBot per navigare il web e migliorare la qualità dei risultati di ricerca per gli utenti di Claude. È separato da ClaudeBot, il crawler di addestramento, quindi puoi consentire la ricerca rinunciando all'addestramento.
Anthropic afferma che disattivare Claude-SearchBot impedisce l'indicizzazione dei tuoi contenuti per l'ottimizzazione della ricerca, il che può ridurre la visibilità e l'accuratezza del tuo sito nei risultati di ricerca degli utenti. I bot di Anthropic rispettano il robots.txt e le misure anti-elusione, quindi un CAPTCHA o una pagina di verifica pone fine alla visita.
Nel nostro studio di 2026-11, 12.9% dei siti popolari con un robots.txt lo bloccava. →
Token robots.txt
Claude-SearchBot
Come consentirlo
User-agent: Claude-SearchBot
Allow: /Come bloccarlo
User-agent: Claude-SearchBot
Disallow: /Come verificare le visite reali
Anthropic pubblica gli indirizzi IP dei suoi crawler su claude.com/crawling/bots.json e dichiara che un crawler il cui IP è presente in quell'elenco proviene da Anthropic. Confronta l'IP di origine con l'elenco invece di fidarti dello user agent. Anthropic sconsiglia di usare il blocco per IP per rinunciare, perché impedisce anche al crawler di leggere il robots.txt.
Controlla se il tuo sito lo lascia entrare →
I crawler di Anthropic: ClaudeBot, Claude-SearchBot e Claude-User →