Claude vede il mio sito? Come verificarlo

Pubblicato · Aggiornato

Risposta breve

Claude può leggere la tua pagina solo se il tuo robots.txt consente gli agenti di Anthropic e il tuo server invia loro lo stesso HTML che riceve un browser. Controlla che il robots.txt non blocchi Claude-SearchBot o Claude-User, che il firewall non risponda loro con un 403 o una pagina di verifica e che il testo principale sia nell'HTML iniziale. Poi metti alla prova Claude: incolla il tuo URL in una chat e fai le domande dei tuoi clienti con la ricerca web attiva.

Se chiedi a Claude del tuo prodotto e cita altri siti, la prima domanda è se riesca a raggiungere il tuo. La risposta si può verificare. Anthropic pubblica i token robots.txt dei suoi agenti e gli indirizzi IP da cui arrivano, e Claude mostra le fonti che ha usato. Puoi quindi controllare ogni passaggio in ordine: cosa dice il tuo robots.txt, cosa invia il server, cosa registrano i log e cosa fa Claude con una pagina quando gliela dai.

In questa pagina
  1. Il controllo di 5 minuti, passo per passo
  2. Come legge i siti web Claude?
  3. Come verifico con il robots.txt se Claude può accedere al mio sito?
  4. Come verifico cosa ricevono dal mio server gli agenti di Claude?
  5. Come vedo se Claude visita davvero il mio sito?
  6. Come metto alla prova Claude con la mia pagina?
  7. E se Claude legge la mia pagina ma non la cita?
  8. Come lo verifica AISeeWhy?

Il controllo di 5 minuti, passo per passo

  1. Apri il tuo robots.txt e verifica che nessun gruppo per Claude-SearchBot, Claude-User o User-agent: * vieti la pagina. ClaudeBot conta solo per l'addestramento.
  2. Esegui un controllo gratuito della pagina su AISeeWhy o invia una richiesta con lo user agent Claude-User: deve ricevere lo stato 200 e lo stesso testo di un browser.
  3. Cerca nel tuo log di accesso Claude-SearchBot e Claude-User e guarda i codici di stato che hanno ricevuto.
  4. Incolla il tuo URL in Claude con la ricerca web attiva, chiedigli di riassumere la pagina, poi fai una domanda che fanno i tuoi clienti e controlla le citazioni.

Se il passaggio 1 o 2 non va a buon fine, risolvi prima l'accesso; le sezioni seguenti spiegano come. Se Claude legge la pagina ma non la cita, lavora sui contenuti.

Come legge i siti web Claude?

Claude raggiunge il web in due modi. Con la ricerca web cerca quando una domanda richiede informazioni aggiornate, esamina diverse fonti e risponde con citazioni. Il centro assistenza di Anthropic dice che ogni risposta che usa la ricerca web include citazioni. Quando qualcuno dà a Claude un link preciso, può aprire direttamente quella pagina.

Anthropic documenta tre agenti per questo, ognuno con il proprio token robots.txt. Claude-SearchBot scansiona il web per migliorare i risultati di ricerca di Claude, Claude-User scarica le pagine quando servono alla domanda di un utente e ClaudeBot raccoglie contenuti che possono essere usati per l'addestramento. La nostra guida ai tre crawler di Anthropic spiega nel dettaglio cosa fa ciascuno. Per essere letto e citato, i primi due sono quelli da controllare.

Un limite da dire chiaramente: Anthropic non documenta quale indice di ricerca usi la ricerca web di Claude né come scelga le fonti. Dice che bloccare Claude-SearchBot può ridurre la tua visibilità nei risultati di ricerca e che bloccare Claude-User impedisce il recupero delle pagine per le domande degli utenti. Consentirli entrambi rende possibile una citazione, ma non la garantisce.

Come verifico con il robots.txt se Claude può accedere al mio sito?

Apri https://yourdomain.com/robots.txt e cerca i gruppi che nominano Claude-SearchBot o Claude-User. Se nessuno dei due è nominato, entrambi seguono il gruppo User-agent: *. Secondo la RFC 9309 il confronto dei token non distingue tra maiuscole e minuscole, e un Disallow: / nel gruppo che si applica chiude l'intero sito a quell'agente.

Controlla anche la risposta stessa. Un robots.txt che restituisce un errore del server dice ai crawler di considerare tutto vietato. Un 404 significa nessuna regola. Due comandi mostrano lo stato e tutti i gruppi del file:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic dice che le regole devono stare nel robots.txt al livello principale di ogni sottodominio, quindi blog.example.com ha bisogno di un file proprio. Questi blocchi non sono rari. Nel nostro studio sui 1.000 domini più popolari, 67 dei 518 siti che servivano un robots.txt (12,9%) bloccavano la home page a Claude-SearchBot e 68 (13,1%) a Claude-User, mentre 110 (21,2%) lo facevano per il crawler di addestramento ClaudeBot.

Come verifico cosa ricevono dal mio server gli agenti di Claude?

Il robots.txt è una richiesta, non un controllo di accesso. Un firewall, una CDN o una protezione dai bot possono rispondere agli agenti di Anthropic con un 403, un 429 o una pagina di verifica mentre il tuo browser vede la pagina normalmente. Anthropic dice che i suoi bot non tentano di aggirare i CAPTCHA, quindi una pagina di verifica chiude la visita.

Richiedi lo stesso URL con lo user agent di un browser e con ogni token di Anthropic, poi confronta stato e dimensione:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

La pagina di assistenza di Anthropic indica i token ma non pubblica le stringhe user agent complete, quindi queste sono stringhe di prova, non quelle reali di Anthropic. Mostrano come le regole che confrontano il nome trattano la richiesta. Un 403, 429 o 503 solo per le righe di Claude, o un 200 molto più piccolo di quello del browser, indica il tuo firewall.

Il tuo test parte dal tuo indirizzo IP. Anthropic dice che le richieste dagli indirizzi elencati in claude.com/crawling/bots.json provengono da Anthropic. Se il tuo firewall consente i crawler verificati in base all'IP, gli agenti reali possono passare mentre il tuo test viene bloccato, e può succedere anche il contrario. Usa l'elenco per consentire Anthropic, non per bloccarla: Anthropic sconsiglia il blocco per IP perché impedisce anche ai suoi bot di leggere il tuo robots.txt.

Come vedo se Claude visita davvero il mio sito?

I log di accesso rispondono direttamente. Cercaci i tre token, poi controlla che gli indirizzi di origine rientrino negli intervalli pubblicati da Anthropic, perché chiunque può copiare il nome di uno user agent:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Il primo comando presuppone il diffuso formato di log combined, in cui il campo 1 è l'indirizzo del client e il campo 9 il codice di stato. Molti codici 403 o 429 accanto agli agenti di Anthropic confermano un problema di firewall. Nessuna visita di Claude-SearchBot significa solo che non ha ancora scansionato quelle pagine, o che qualcosa lo ferma prima.

Come metto alla prova Claude con la mia pagina?

Apri una chat e incolla l'URL di una delle tue pagine con una richiesta come "Riassumi questa pagina". Il centro assistenza di Anthropic dice che con la ricerca web attiva Claude può aprire i link che fornisci. Se la ricerca web è disattivata, attivala dal menu +; nella nuova esperienza di Claude di Anthropic non c'è un interruttore e Claude cerca quando serve. Nei piani Team ed Enterprise un proprietario deve prima abilitare la ricerca web per l'organizzazione. Se Claude non riesce ad aprire la tua pagina mentre un browser sì, torna al test del firewall.

Poi fai le domande che fanno i tuoi clienti, senza nominare il tuo sito, e apri le fonti citate. Anthropic dice che Claude può usare una posizione dedotta dal tuo indirizzo IP per risultati localizzati, quindi le risposte possono variare in base al luogo e da un tentativo all'altro.

Gli sviluppatori possono ripetere la prova tramite la Claude API. Lo strumento di ricerca web accetta un elenco allowed_domains, quindi una richiesta limitata al tuo dominio mostra se la ricerca di Claude restituisce qualcuna delle tue pagine per una domanda:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Risultati di ricerca vuoti significano che la ricerca di Claude non ha trovato nulla su quel dominio per la domanda. Anthropic fa pagare le ricerche web tramite API in aggiunta ai token. Lo strumento web fetch dell'API indica anche perché una pagina non si è potuta leggere: url_not_allowed copre blocchi come il robots.txt e url_not_accessible indica un errore HTTP. Le risposte dell'API possono differire da quelle che mostrano le app di Claude.

E se Claude legge la mia pagina ma non la cita?

Prima assicurati che il testo che gli serve sia nell'HTML inviato dal server. La documentazione dell'API di Anthropic dice che il suo strumento web fetch non supporta i siti renderizzati con JavaScript, e Anthropic non dice che i suoi crawler eseguano script. Scarica la pagina con curl e cerca nell'output una frase del contenuto principale. Se manca, il rendering lato server o il prerendering risolvono il problema per Claude e per la maggior parte degli altri crawler di IA.

A quel punto decide la pagina. Metti la risposta alla domanda principale della pagina nelle prime frasi, usa titoli che corrispondono alle domande che le persone fanno, indica l'editore e mostra le date. Poi confronta la tua pagina con quella che Claude cita per la stessa domanda: spesso la pagina citata risponde a quella domanda in modo più diretto.

Come lo verifica AISeeWhy?

Il controllo gratuito di AISeeWhy scarica la tua pagina come Claude-SearchBot, Claude-User, ClaudeBot e gli altri crawler di IA e di ricerca accanto a un browser reale, applica il tuo robots.txt a ciascuno, riconosce le pagine di verifica e mostra quanto testo arriva senza JavaScript. Il controllo della visibilità nell'IA, nella prova e nei piani a pagamento, pone le tue domande tramite Claude con la ricerca web usando la tua chiave API e mostra se il tuo brand o il tuo dominio viene menzionato o citato.

Strumenti gratuiti

Prossimi passi

Crawler in questo articolo

Domande frequenti

Posso verificare gratis se Claude vede il mio sito?

Sì. Il tuo robots.txt, una richiesta curl, il log del server e una domanda in Claude non costano nulla. Il controllo gratuito di AISeeWhy testa gli agenti di Anthropic e altri 13 crawler per una pagina al giorno senza account.

Perché Claude non riesce ad aprire il mio sito quando incollo il link?

Le cause tipiche sono un firewall o una protezione dai bot che risponde agli agenti di Anthropic con un 403 o una pagina di verifica, una regola del robots.txt che blocca Claude-User, oppure una pagina il cui testo compare solo dopo l'esecuzione di JavaScript. Prova l'URL con curl come browser e con i token di Claude, e cerca nei log le richieste bloccate.

Anthropic pubblica una stringa user agent con cui fare test?

La pagina di assistenza di Anthropic sui crawler elenca i token ClaudeBot, Claude-SearchBot e Claude-User, ma nessuna stringa user agent completa. Per distinguere il traffico reale di Anthropic dagli imitatori, confronta l'IP di origine con l'elenco in claude.com/crawling/bots.json.

Quanto ci mette una modifica al robots.txt ad arrivare a Claude?

Anthropic non indica tempi. La RFC 9309 dice che i crawler non dovrebbero usare un robots.txt in cache per più di 24 ore, quindi aspetta almeno un giorno prima di valutare il risultato nei log o nelle risposte di Claude.

La Claude API dà le stesse risposte dell'app Claude?

Non necessariamente. L'app può usare la tua posizione approssimativa e le sue impostazioni, mentre una richiesta API usa gli strumenti e i parametri che invii. Considera i risultati dell'API come un test ripetibile, non come una copia di ciò che vede ogni utente.

Come faccio a sapere se Claude menziona il mio brand?

Fai a Claude, con la ricerca web attiva, le domande dei tuoi clienti e annota se nomina o cita il tuo sito e quali concorrenti compaiono al suo posto. Ripeti ogni domanda per alcune settimane, perché le risposte cambiano. Il controllo della visibilità nell'IA di AISeeWhy lo fa ogni settimana tramite la Claude API con la tua chiave, accanto a un massimo di quattro concorrenti.

Fonti

Altri articoli