Come verificare se un sito blocca i crawler di IA

Incolla un indirizzo qualsiasi e scopri se blocca GPTBot, ClaudeBot, PerplexityBot e gli altri crawler di IA: nel robots.txt, nel firewall o in entrambi.

Gratis · Senza registrazione · Risultati in 30 secondi

Quali crawler sono bloccati

I crawler di addestramento, di ricerca e quelli attivati dagli utenti sono mostrati separatamente, perché bloccare GPTBot non blocca OAI-SearchBot e bloccare ClaudeBot non blocca Claude-SearchBot.

La riga che decide

Per ogni crawler il robots.txt viene letto secondo le regole della RFC 9309: il gruppo che lo nomina, o User-agent: * come alternativa, e la regola che prevale.

Rifiuti del firewall

La pagina viene richiesta come 14 crawler e come un normale browser. Blocchi e pagine di verifica vengono segnalati e il firewall che ha risposto viene indicato per nome.

Una soluzione per ogni problema

Ogni problema trovato include la modifica da fare. Il controllo gratuito mostra il tuo punteggio e il primo problema; il report completo costa $29, una tantum.

Risposta breve

Un sito può bloccare i crawler di IA in due punti: il robots.txt, che chiede ai crawler di stare alla larga, e il server o il firewall, che li respinge davvero. Cerca nel robots.txt il token di ogni crawler, e in sua assenza User-agent: *, poi scarica la pagina come il crawler e confrontala con quella ricevuta da un browser. Un'estensione per il browser fa la parte del robots.txt per 16 crawler di IA con un clic.

Controlla a mano in 3 passaggi

  1. Scegli il crawler

    Ogni azienda di IA ne usa di diversi. Addestramento: GPTBot, ClaudeBot. Ricerca: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Su richiesta di una persona: ChatGPT-User, Claude-User, Perplexity-User.

  2. Leggi il robots.txt per quel crawler

    Apri https://example.com/robots.txt e trova il gruppo che nomina il crawler. Se nessun gruppo lo nomina, vale il gruppo User-agent: *; se non c'è nemmeno quello, tutto è consentito.

  3. Scarica la pagina come il crawler

    Richiedi la pagina con lo user agent del crawler e confronta stato e dimensione con quelli di un browser. Un 403, una pagina di verifica o un 200 molto più piccolo indicano che il firewall lo respinge.

Domande frequenti

Un sito senza robots.txt è aperto ai crawler di IA?

Sì, per quanto riguarda il robots.txt. Un 404 per il robots.txt significa che non ci sono regole, quindi ogni crawler può scaricare ogni pagina. Un firewall può comunque bloccare i crawler.

L'estensione mostra i blocchi del firewall?

No. Legge il robots.txt dal tuo browser, e questo mostra che cosa il sito chiede ai crawler. Per i blocchi del firewall e della protezione dai bot serve una richiesta inviata come il crawler, ed è ciò che fa il controllo completo su aiseewhy.com.

Posso controllare un sito che non è mio?

Sì. Il robots.txt è pubblico, e l'estensione legge solo i file robots.txt e llms.txt che il sito pubblica, gli stessi che legge ogni crawler.

Leggi la guida completa

Che tu stia controllando il tuo sito dopo una modifica o quello di qualcun altro prima di fidarti, la domanda «questo sito blocca i crawler di IA?» ha una risposta precisa. Dipende da quale crawler intendi, perché le aziende di IA usano crawler separati per l'addestramento, per la ricerca e per le visite in tempo reale, e un sito può trattarli ciascuno in modo diverso. Questa guida mostra tre controlli, dal più rapido al più completo.

Dove può un sito bloccare i crawler di IA?

Ci sono tre livelli, e un crawler deve superarli tutti per usare una pagina.

  • robots.txt: un file pubblico di regole che i crawler corretti leggono prima di scaricare qualsiasi cosa. È una richiesta, non una serratura.
  • Il server, la CDN o il firewall: qui si decide che cosa viene davvero restituito. Una regola di protezione dai bot può rispondere a un crawler con un 403, un 429 o una pagina di verifica anche quando il robots.txt lo consente.
  • La pagina stessa: se il testo principale compare solo dopo l'esecuzione di JavaScript, un crawler che legge l'HTML iniziale riceve una pagina quasi vuota, anche se nulla lo ha bloccato.

La maggior parte dei controlli rapidi guarda solo il primo livello. È un buon inizio, purché tu ricordi gli altri due.

Come leggo il robots.txt per un crawler di IA?

Apri https://example.com/robots.txt in un browser e trova il gruppo che si applica al crawler. Un gruppo inizia con una o più righe User-agent. Il crawler usa il gruppo che nomina il suo token, come GPTBot; il confronto non distingue maiuscole e minuscole. Se nessun gruppo lo nomina, usa il gruppo User-agent: *. Se non c'è né l'uno né l'altro, è tutto consentito.

All'interno del gruppo vince la regola con il percorso corrispondente più lungo, e quando un Allow e un Disallow hanno la stessa lunghezza, vince Allow. Quindi il file qui sotto blocca GPTBot su tutto il sito, ma fa entrare ogni altro crawler:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Guarda anche come risponde il file. Secondo la RFC 9309, un 404 significa che non ci sono regole, quindi è tutto consentito. Un errore del server (5xx) o nessuna risposta significa che il crawler deve considerare vietato l'intero sito. Un indirizzo robots.txt che restituisce una pagina HTML è un errore comune: i crawler non vi trovano regole valide.

Come controllo tutti i crawler di IA in una volta?

Leggere il file a mano diventa lento appena ti interessa più di un crawler. Ogni azienda di IA ne usa diversi, con compiti diversi:

  • I crawler di addestramento raccolgono contenuti per addestrare i modelli: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, più i token Google-Extended e Applebot-Extended, che compaiono solo nel robots.txt.
  • I crawler di ricerca indicizzano le pagine perché le risposte di IA possano citarle: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • I crawler utente scaricano una pagina quando una persona lo chiede all'assistente: ChatGPT-User, Claude-User, Perplexity-User.

L'estensione gratuita Verifica crawler IA per Chrome lo fa con un clic. Apri una pagina qualsiasi e fai clic sull'icona: l'estensione legge il robots.txt di quel sito e mostra, per ciascuno dei 16 crawler, se la pagina è consentita e quale riga lo decide. Mostra anche le preferenze Content-Signal, se il sito ha un llms.txt e le sitemap elencate nel robots.txt. Funziona nel tuo browser, non richiede un account e legge solo il sito su cui la usi.

Senza Chrome, il controllo gratuito del robots.txt su aiseewhy.com dà la stessa risposta per un URL che incolli.

Come controllo se il firewall li lascia passare?

Il robots.txt mostra che cosa chiede il sito. Per vedere che cosa riceve davvero un crawler, richiedi la pagina due volte, una come browser e una con lo user agent del crawler, e confronta il codice di stato e la dimensione della risposta:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Se il browser riceve 200 e il crawler 403, 429 o 503, oppure una pagina molto più piccola, un firewall o una protezione dai bot tratta il crawler in modo diverso. C'è un limite che vale per ogni test esterno: parte dalla tua rete, non da quella dell'azienda di IA. Un firewall che si fida dei crawler in base ai loro indirizzi IP pubblicati può trattare il crawler vero in modo diverso, quindi l'ultima parola spetta ai log del tuo server.

Il controllo completo su aiseewhy.com scarica la pagina come ciascuno dei 16 crawler accanto a un browser reale, indica il firewall o la regola che blocca un crawler e confronta il testo ricevuto da ciascuno.

A quale risultato dovrei puntare?

Dipende da ciò che vuoi. Se vuoi essere citato nella ricerca di ChatGPT, in Claude e in Perplexity, i crawler di ricerca e quelli utente devono essere consentiti nel robots.txt e ricevere dal server la pagina vera. Se non vuoi che i tuoi contenuti siano usati per l'addestramento, blocca solo i token di addestramento. Sono scelte separate: bloccare GPTBot non blocca OAI-SearchBot, e bloccare ClaudeBot non blocca Claude-SearchBot.

Molti siti le confondono. Nel nostro report di novembre 2026 sui 1.000 domini più popolari, il 63% dei siti che bloccano un crawler di addestramento blocca anche almeno un crawler di ricerca o utente di IA, e così le loro pagine restano fuori da quelle risposte di IA.

Strumenti gratuiti

Prossimi passi

Crawler in questo articolo

Fonti

Altri articoli

Pubblicato