Abbiamo letto il robots.txt dei 10.000 siti più popolari. Ecco cosa fanno con i crawler IA

Pubblicato

Risposta breve

Dei 6.192 domini della top 10.000 di Tranco che servono un robots.txt, il 23,2% blocca almeno un crawler di addestramento IA e il 12,3% blocca almeno un crawler di ricerca o utente IA. Il 51,6% dei siti che bloccano l'addestramento blocca anche la ricerca IA. Solo l'11,2% rifiuta l'addestramento consentendo ogni crawler di ricerca IA.

A novembre abbiamo letto il robots.txt dei 1.000 domini più popolari. Stavolta ne abbiamo letti 10.000, con lo stesso metodo, e abbiamo aggiunto un controllo su come cambia il quadro man mano che i siti diventano più piccoli. Il risultato principale regge: bloccare l'addestramento e bloccare la ricerca sono trattati come un'unica decisione, anche se sono due.

In questa pagina
  1. Come abbiamo misurato?
  2. Cosa abbiamo trovato?
  3. Quali crawler sono bloccati più spesso?
  4. I siti più grandi bloccano di più?
  5. È cambiato qualcosa dal nostro report del 12 novembre?
  6. Cosa significa per il tuo robots.txt?
  7. Quanto sono affidabili questi numeri?

Come abbiamo misurato?

Abbiamo preso i primi 10.000 domini della lista Tranco (ID lista JZWZY) e richiesto una sola volta, il 21 novembre 2026, la home page, robots.txt e llms.txt di ciascun dominio, con lo user agent di AISeeWhy. Abbiamo valutato ogni robots.txt secondo la RFC 9309 per la home page (/) e per 16 crawler IA e di ricerca.

6.192 dei 10.000 domini servivano un robots.txt (una risposta riuscita che non sia una pagina HTML). 1.121 hanno risposto con un 4xx, che significa nessuna regola e tutti i crawler consentiti, e 2.687 non ne servivano uno (nessun sito HTTPS, errori, timeout o una pagina HTML al suo posto). Ogni percentuale qui sotto è calcolata sui 6.192. La lista comprende CDN e API che non servono alcun sito web.

Cosa abbiamo trovato?

Quali crawler sono bloccati più spesso?

Quota dei 6.192 domini il cui robots.txt vieta la home page al crawler:

I siti più grandi bloccano di più?

Sì, e confondono più spesso addestramento e ricerca. Abbiamo diviso la lista per posizione:

La via selettiva è rara a ogni dimensione: 10,5%, 10,4% e 11,5% dei domini nei tre gruppi.

È cambiato qualcosa dal nostro report del 12 novembre?

Abbiamo rieseguito i primi 1.000 domini con la stessa lista. Il risultato è stabile entro circa un punto: il 28,6% blocca l'addestramento (29,9% il 12 novembre), il 18,6% blocca la ricerca IA (19,5%) e il 63,1% di chi blocca l'addestramento blocca anche la ricerca IA (63,2%). I denominatori differiscono leggermente (ora 560 domini con un robots.txt, allora 518) perché questa esecuzione segue il reindirizzamento di un dominio verso il suo host principale prima della richiesta.

Cosa significa per il tuo robots.txt?

La maggior parte delle aziende di IA documenta crawler distinti per l'addestramento e per la ricerca e dichiara che le impostazioni sono indipendenti. Vietare GPTBot non tocca OAI-SearchBot, e vietare ClaudeBot non tocca Claude-SearchBot. Se vuoi rifiutare l'addestramento ed essere comunque citato, blocca i token di addestramento e consenti quelli di ricerca e utente, e ripeti i percorsi privati in ogni gruppo, perché un gruppo con nome non eredita da *.

Quanto sono affidabili questi numeri?

Sono regole di robots.txt per la home page, lette da un solo parser in un solo giorno. Non misurano i blocchi del firewall, che possono rifiutare un crawler che robots.txt consente. Non possono dire che cosa intendesse ogni sito, e la lista Tranco comprende domini che non servono alcun sito web. Una regola che blocca un crawler di ricerca non è la prova di un errore, solo di una scelta spesso fatta senza conoscere la differenza. Puoi citare i dati con un link a questa pagina.

Strumenti gratuiti

Prossimi passi

Crawler in questo articolo

Domande frequenti

Quale quota dei siti popolari blocca i crawler IA?

Tra i 6.192 domini della top 10.000 di Tranco che servono un robots.txt, il 23,2% blocca almeno un crawler di addestramento IA e il 12,3% blocca almeno un crawler di ricerca o utente IA.

I siti che bloccano l'addestramento IA bloccano anche la ricerca IA?

Spesso. Il 51,6% dei siti che bloccano un crawler di addestramento blocca anche almeno un crawler di ricerca o utente IA, sebbene i fornitori li documentino come crawler distinti con impostazioni indipendenti.

Quale crawler IA è bloccato più spesso?

Tra i crawler di addestramento Bytespider (18,7%) e CCBot (18,5%), poi GPTBot (17,4%). Tra i crawler di ricerca IA PerplexityBot è il più bloccato, sul 10,4% dei domini.

Perché i numeri differiscono dal vostro report sui 1.000 siti?

I primi 1.000 domini danno percentuali quasi identiche (28,6% e 18,6% contro 29,9% e 19,5%). I dati sui 10.000 siti sono più bassi perché i siti più piccoli bloccano meno.

Fonti

Altri articoli