Quattro siti aziendali su dieci respingono i crawler IA
Nei nostri audit di 165 siti aziendali in USA, Regno Unito e Francia, il 38% ha respinto a livello di server almeno un crawler IA, quasi sempre un bot di addestramento o di scraping. Circa un sito su dieci ha rifiutato anche un crawler di ricerca IA come PerplexityBot o OAI-SearchBot, cioè quelli che possono portare a una citazione. Controlla il tuo con una richiesta per crawler.
Chiedi a ChatGPT del tuo prodotto e ti nomina un concorrente, un sito di recensioni e una discussione su un forum. A volte è una questione di contenuti. Spesso è un firewall che risponde di no ai crawler IA, cosa che nessuno nel tuo team ha mai visto perché il sito funziona nel browser.
In questa pagina
Cosa abbiamo testato?
Richiediamo una pagina più volte dallo stesso indirizzo: una volta come normale browser e una volta ciascuno come 14 crawler IA e di ricerca, tra cui GPTBot, OAI-SearchBot e ChatGPT-User di OpenAI, ClaudeBot e Claude-SearchBot di Anthropic e PerplexityBot di Perplexity. Se il browser ottiene la pagina e un crawler riceve un 401, 403, 406, 429, 451, 503 o una pagina di verifica, il sito sta respingendo quel crawler.
Il campione è di 218 siti aziendali in USA, Regno Unito e Francia, sottoposti ad audit dal 18 al 21 novembre 2026. Siamo riusciti a eseguire il test completo su 165. Gli altri 53 hanno rifiutato persino la nostra semplice richiesta da browser o non hanno risposto, quindi li abbiamo esclusi invece di tirare a indovinare.
Cosa abbiamo trovato?
- Il 38% dei siti testabili (63 su 165) ha respinto almeno un crawler IA.
- Ognuno di quei siti ha rifiutato almeno un crawler di addestramento o di scraping.
Bytespiderè stato rifiutato dal 35% di tutti i siti,ClaudeBotdal 13% eGPTBotdall'11%. - Il 10% dei siti (16) ha rifiutato anche almeno un crawler di ricerca IA, e il 5% (8) ha rifiutato un crawler che apre una pagina in tempo reale quando una persona interroga l'assistente.
- I crawler di ricerca più rilevanti sono stati
PerplexityBot(11 siti) eOAI-SearchBot(5 siti). - Cloudflare era dietro 32 dei 66 siti che hanno rifiutato un qualsiasi crawler testato. Per altri 30 non siamo riusciti a capire quale firewall abbia risposto.
Perché succede e quando è una scelta?
Molto di questo è probabilmente voluto. Molti proprietari non vogliono che i loro contenuti servano ad addestrare modelli, e le impostazioni di protezione dai bot che bloccano gli scraper sono facili da attivare. È una scelta legittima.
Il problema è che le aziende di IA usano crawler distinti per l'addestramento e per la ricerca. Bloccare il crawler di addestramento non richiede di bloccare quello di ricerca, ed è proprio il crawler di ricerca a poter portare alla citazione della tua pagina in una risposta.
I siti più grandi fanno meglio?
Non proprio. Nel nostro report su robots.txt relativo ai 1.000 domini più popolari, il 29,9% dei siti con un robots.txt blocca almeno un crawler di addestramento IA, e il 63,2% di questi blocca anche almeno un crawler di ricerca o utente IA. Solo l'11,0% blocca l'addestramento consentendo tutti i crawler di ricerca IA, che è la configurazione che la maggior parte di loro voleva probabilmente.
Come controllo il mio sito in dieci minuti?
- Apri
yoursite.com/robots.txt. Per ogni crawler IA che ti interessa, verifica se un gruppo lo nomina e che cosa dice. Un gruppo che nomina un crawler sostituisce completamente il gruppo generico*. - Prova che cosa fa il server, non che cosa dice il file. Richiedi la tua pagina principale come browser e come crawler. Un 403, un 429, una pagina con titolo
Just a moment...o una risposta molto più piccola di quella del browser è la firma di un blocco del firewall. - Chiedi all'assistente. Con la ricerca attiva, fai a ChatGPT o a Perplexity le domande che fanno i tuoi clienti e guarda quali siti cita. Se l'accesso è a posto e continui a non comparire, il problema sono i contenuti, non l'accesso.
Quanto sono affidabili questi numeri?
Consideralo uno schema, non un censimento. Il campione non è casuale: sono aziende trovate tramite librerie di annunci, bacheche di lavoro ed elenchi di mappe. Testiamo per user agent da un solo indirizzo, mentre i veri crawler arrivano dagli indirizzi pubblicati dai loro fornitori, quindi alcuni firewall tratterebbero diversamente quelli reali. E un blocco non è sempre un errore.
Prossimi passi
- Tester e verifica robots.txt per i crawler AI
- Guarda un esempio di report completo
- Monitoraggio dei crawler AI
- Piani e prezzi
Crawler in questo articolo
Domande frequenti
Quale quota di siti blocca i crawler IA?
Nel nostro audit di 165 siti aziendali testabili, il 38% ha respinto a livello di server almeno un crawler IA, soprattutto bot di addestramento e di scraping. Circa il 10% ha rifiutato anche un crawler di ricerca IA.
Bloccare GPTBot tiene il mio sito fuori dalla ricerca di ChatGPT?
No. OpenAI afferma che ogni impostazione di robots.txt per i suoi crawler è indipendente: GPTBot riguarda l'addestramento, OAI-SearchBot la ricerca di ChatGPT. Bloccarne uno non blocca l'altro.
Come può un sito bloccare un crawler senza robots.txt?
Un firewall, una CDN o una regola di protezione dai bot può rispondere a un crawler con un 403, un 429 o una pagina di verifica. robots.txt non lo mostra mai, quindi va verificato richiedendo la pagina come crawler.
Respingere un crawler è sempre un errore?
No. Molti proprietari vogliono tenere fuori i crawler di addestramento e gli scraper. L'errore è bloccare per sbaglio i crawler di ricerca, perché sono quelli che possono citare la tua pagina.
Fonti
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)