Abbiamo letto il robots.txt dei 10.000 siti più popolari. Ecco cosa fanno con i crawler IA
Dei 6.192 domini della top 10.000 di Tranco che servono un robots.txt, il 23,2% blocca almeno un crawler di addestramento IA e il 12,3% blocca almeno un crawler di ricerca o utente IA. Il 51,6% dei siti che bloccano l'addestramento blocca anche la ricerca IA. Solo l'11,2% rifiuta l'addestramento consentendo ogni crawler di ricerca IA.
A novembre abbiamo letto il robots.txt dei 1.000 domini più popolari. Stavolta ne abbiamo letti 10.000, con lo stesso metodo, e abbiamo aggiunto un controllo su come cambia il quadro man mano che i siti diventano più piccoli. Il risultato principale regge: bloccare l'addestramento e bloccare la ricerca sono trattati come un'unica decisione, anche se sono due.
In questa pagina
Come abbiamo misurato?
Abbiamo preso i primi 10.000 domini della lista Tranco (ID lista JZWZY) e richiesto una sola volta, il 21 novembre 2026, la home page, robots.txt e llms.txt di ciascun dominio, con lo user agent di AISeeWhy. Abbiamo valutato ogni robots.txt secondo la RFC 9309 per la home page (/) e per 16 crawler IA e di ricerca.
6.192 dei 10.000 domini servivano un robots.txt (una risposta riuscita che non sia una pagina HTML). 1.121 hanno risposto con un 4xx, che significa nessuna regola e tutti i crawler consentiti, e 2.687 non ne servivano uno (nessun sito HTTPS, errori, timeout o una pagina HTML al suo posto). Ogni percentuale qui sotto è calcolata sui 6.192. La lista comprende CDN e API che non servono alcun sito web.
Cosa abbiamo trovato?
- Il 23,2% (1.437 domini) blocca almeno un crawler di addestramento IA.
- Il 12,3% (762) blocca almeno un crawler di ricerca o utente IA, quindi le sue pagine non dovrebbero essere usate o citate dalle risposte che si basano su di esso.
- Il 51,6% dei domini che bloccano un crawler di addestramento (742 su 1.437) blocca anche almeno un crawler di ricerca o utente IA.
- Solo l'11,2% (695) sceglie la via selettiva: blocca i crawler di addestramento e consente ogni crawler di ricerca e utente IA.
- Il 6,5% (401) dichiara le proprie preferenze sull'IA con
Content-Signal. - Il 12,4% di tutti i 10.000 domini (1.240) pubblica un
llms.txt. - Per confronto, il 2,0% (124) blocca
Googlebotsulla home page.
Quali crawler sono bloccati più spesso?
Quota dei 6.192 domini il cui robots.txt vieta la home page al crawler:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBot10,4% è il crawler di ricerca IA bloccato più spesso, davanti aOAI-SearchBot7,0% eClaude-SearchBot7,0%.- I crawler che aprono una pagina quando una persona lo chiede:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
I siti più grandi bloccano di più?
Sì, e confondono più spesso addestramento e ricerca. Abbiamo diviso la lista per posizione:
- Posizioni da 1 a 1.000 (560 domini con un robots.txt): il 28,6% blocca l'addestramento, il 18,6% blocca la ricerca IA e il 63,1% di chi blocca l'addestramento blocca anche la ricerca IA.
- Posizioni da 1.001 a 3.000 (1.256 domini): 23,5%, 13,5% e 55,6%.
- Posizioni da 3.001 a 10.000 (4.376 domini): 22,4%, 11,2% e 48,6%.
La via selettiva è rara a ogni dimensione: 10,5%, 10,4% e 11,5% dei domini nei tre gruppi.
È cambiato qualcosa dal nostro report del 12 novembre?
Abbiamo rieseguito i primi 1.000 domini con la stessa lista. Il risultato è stabile entro circa un punto: il 28,6% blocca l'addestramento (29,9% il 12 novembre), il 18,6% blocca la ricerca IA (19,5%) e il 63,1% di chi blocca l'addestramento blocca anche la ricerca IA (63,2%). I denominatori differiscono leggermente (ora 560 domini con un robots.txt, allora 518) perché questa esecuzione segue il reindirizzamento di un dominio verso il suo host principale prima della richiesta.
Cosa significa per il tuo robots.txt?
La maggior parte delle aziende di IA documenta crawler distinti per l'addestramento e per la ricerca e dichiara che le impostazioni sono indipendenti. Vietare GPTBot non tocca OAI-SearchBot, e vietare ClaudeBot non tocca Claude-SearchBot. Se vuoi rifiutare l'addestramento ed essere comunque citato, blocca i token di addestramento e consenti quelli di ricerca e utente, e ripeti i percorsi privati in ogni gruppo, perché un gruppo con nome non eredita da *.
Quanto sono affidabili questi numeri?
Sono regole di robots.txt per la home page, lette da un solo parser in un solo giorno. Non misurano i blocchi del firewall, che possono rifiutare un crawler che robots.txt consente. Non possono dire che cosa intendesse ogni sito, e la lista Tranco comprende domini che non servono alcun sito web. Una regola che blocca un crawler di ricerca non è la prova di un errore, solo di una scelta spesso fatta senza conoscere la differenza. Puoi citare i dati con un link a questa pagina.
Prossimi passi
- Tester e verifica robots.txt per i crawler AI
- Verifica e validatore llms.txt
- Guarda un esempio di report completo
- Monitoraggio dei crawler AI
- Piani e prezzi
Crawler in questo articolo
Domande frequenti
Quale quota dei siti popolari blocca i crawler IA?
Tra i 6.192 domini della top 10.000 di Tranco che servono un robots.txt, il 23,2% blocca almeno un crawler di addestramento IA e il 12,3% blocca almeno un crawler di ricerca o utente IA.
I siti che bloccano l'addestramento IA bloccano anche la ricerca IA?
Spesso. Il 51,6% dei siti che bloccano un crawler di addestramento blocca anche almeno un crawler di ricerca o utente IA, sebbene i fornitori li documentino come crawler distinti con impostazioni indipendenti.
Quale crawler IA è bloccato più spesso?
Tra i crawler di addestramento Bytespider (18,7%) e CCBot (18,5%), poi GPTBot (17,4%). Tra i crawler di ricerca IA PerplexityBot è il più bloccato, sul 10,4% dei domini.
Perché i numeri differiscono dal vostro report sui 1.000 siti?
I primi 1.000 domini danno percentuali quasi identiche (28,6% e 18,6% contro 29,9% e 19,5%). I dati sui 10.000 siti sono più bassi perché i siti più piccoli bloccano meno.
Fonti
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers