Perché il mio sito all'improvviso blocca i crawler di IA?
Un sito che inizia a bloccare i crawler di IA è cambiato quasi sempre in uno di cinque punti: il robots.txt effettivamente servito, un'impostazione della CDN come le policy di Cloudflare per i crawler di IA, la protezione dai bot o un rate limit, un'impostazione predefinita dell'hosting, oppure un robots.txt che ora risponde con un errore. Scarica il robots.txt di oggi e una pagina come ogni crawler, confrontali con un browser e con quello che avevi prima, e controlla questi livelli in quest'ordine.
Nessuno decide di sparire dalle risposte dell'IA. Succede come effetto collaterale di un aggiornamento del tema, di un'impostazione di sicurezza, di una migrazione o di un'impostazione predefinita cambiata da un fornitore. Un browser continua a vedere il sito normalmente, quindi la modifica può passare inosservata finché qualcuno non chiede a ChatGPT o a Perplexity del prodotto e si vede proporre un concorrente. Ogni livello lascia tracce che puoi controllare dall'esterno o nei log.
In questa pagina
- È cambiato il robots.txt che ricevono i crawler?
- Le policy di Cloudflare per i crawler di IA del 2026 hanno cambiato cosa consente il mio sito?
- La protezione dai bot o un rate limit stanno fermando i crawler?
- Il mio provider di hosting ha cambiato le impostazioni predefinite?
- Il robots.txt risponde con un errore?
- Come scopro quando è iniziato?
- Come me ne accorgo prima la prossima volta?
È cambiato il robots.txt che ricevono i crawler?
Scarica https://yourdomain.com/robots.txt e confrontalo con il file nel tuo repository o nel backup. Guarda il file servito, non quello su disco, perché diversi livelli possono modificarlo lungo il percorso:
- Un deploy pubblica il robots.txt di staging con
Disallow: /, oppure una migrazione lascia al suo posto il file predefinito della piattaforma. - Un'impostazione del site builder aggiunge regole per i crawler di IA. Squarespace, per esempio, ha un'opzione Block known artificial intelligence crawlers che scrive 26 nomi di bot nel robots.txt e dice che col tempo se ne possono aggiungere altri. È disattivata per impostazione predefinita, quindi qualcuno deve attivarla, ma l'elenco può crescere in seguito.
- L'aggiornamento di un plugin SEO o di sicurezza scrive nuove regole, o aggiunge una nuova opzione che qualcuno attiva.
- Cloudflare antepone il suo robots.txt gestito al tuo file quando Bot Preference Sync è attivo e una policy IA è impostata su Block o Disallow. Il file servito inizia allora con
Disallow: /perClaudeBot,GPTBote altri sei token di addestramento, anche se il tuo file non è cambiato. - Una regola pensata per un crawler di addestramento è stata copiata ad altri, compresi crawler di ricerca come
OAI-SearchBot,Claude-SearchBotoPerplexityBot.
Il report robots.txt di Google Search Console mostra le versioni che Google ha scaricato negli ultimi 30 giorni, con una nuova voce ogni volta che il file o l'esito del recupero è cambiato. Copre solo ciò che ha visto Google, ma se il tuo server non varia il robots.txt in base allo user agent, i crawler di IA hanno ricevuto lo stesso file.
Le policy di Cloudflare per i crawler di IA del 2026 hanno cambiato cosa consente il mio sito?
Cloudflare ha cambiato più volte i suoi controlli sui crawler di IA, e alcune modifiche cambiano il comportamento di una zona senza che nessuno la modifichi. Il 1° luglio 2025 ha iniziato a chiedere ai nuovi domini, al momento dell'iscrizione, se consentire i crawler di IA, con il blocco come stato iniziale. Il 1° luglio 2026 ha sostituito l'unico interruttore Block AI bots con policy separate Search, Agent e Training, per tutti i piani compreso Free.
Il dettaglio che sorprende più siti sono i crawler a scopo misto. La documentazione di Cloudflare dice che le azioni Training si applicano anche ai crawler usati sia per la ricerca sia per l'addestramento. Il suo annuncio di luglio 2026 diceva che dal 15 settembre 2026 i crawler multiuso come Googlebot, Applebot e BingBot sarebbero stati bloccati per i clienti che avevano scelto di bloccare Training, con le nuove opzioni o con la vecchia impostazione Block AI bots. Un opt-out dall'addestramento impostato un anno fa può quindi ora colpire i crawler di ricerca.
Le impostazioni predefinite per i nuovi domini sono state descritte in modo diverso nel tempo. Lo stesso annuncio diceva che dal 15 settembre 2026 i nuovi domini avrebbero avuto Training e Agent bloccati sulle pagine con annunci pubblicitari, mentre la documentazione delle policy aggiornata il 2 novembre 2026 dice che i nuovi domini partono con tutte e tre su Allow. Apri Security, poi Settings, filtra per Bot traffic e leggi AI Crawler and Agent access policies per la tua zona. La nostra guida a Cloudflare AI Crawl Control spiega ogni impostazione.
La protezione dai bot o un rate limit stanno fermando i crawler?
La protezione dai bot valuta ogni richiesta, e i crawler scaricano molte pagine in fretta dai data center, che è esattamente ciò che fanno i bot. Un crawler che il mese scorso passava può iniziare a ricevere pagine di verifica dopo che il suo operatore cambia intervalli IP o velocità di scansione, o dopo un aggiornamento delle regole di protezione. Bot Fight Mode di Cloudflare è una causa frequente, e Cloudflare dice che non si può aggirare né saltare con le WAF custom rules o le Page Rules, quindi una regola di autorizzazione aggiunta dopo non aiuta finché è attivo. Un nuovo rate limit che risponde ai picchi con 429 ha lo stesso effetto su un crawler molto attivo.
Fai un test dall'esterno: richiedi una pagina come browser e come due crawler di ricerca IA, poi richiedi il robots.txt come crawler.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt Un 403, 429 o 503 solo per un crawler, una pagina intitolata Just a moment... o un corpo molto più piccolo di quello del browser significano che il crawler viene trattato diversamente. Il test parte dal tuo IP, non da quello del fornitore, quindi le regole basate sullo stato di bot verificato possono comunque trattare diversamente il crawler reale. Il log degli eventi del firewall mostra quale regola ha risposto.
Il mio provider di hosting ha cambiato le impostazioni predefinite?
Alcuni host filtrano il traffico dell'IA sul server, prima che vengano applicate le tue regole. SiteGround, per esempio, ha scritto ad agosto 2025 che per impostazione predefinita blocca i crawler di IA progettati per raccogliere dati di addestramento e consente quelli che visitano una pagina quando una persona chiede di essa a un assistente IA. Regole come queste non compaiono nel tuo robots.txt e possono cambiare quando l'host aggiorna i suoi elenchi di bot.
Se un blocco compare contemporaneamente su più siti dello stesso host, o in risposte che non arrivano mai ai log della tua applicazione, chiedi all'host quali regole sui bot si applicano al tuo account e se puoi escludere i crawler che vuoi mantenere.
Il robots.txt risponde con un errore?
Un robots.txt che non funziona può bloccare più di qualsiasi riga Disallow. Secondo la RFC 9309, una risposta 4xx significa che un crawler può scaricare tutto, ma un errore del server (5xx) o nessuna risposta significano che deve considerare vietato l'intero sito. Google sospende la scansione per le prime 12 ore di questi errori e poi usa la sua ultima copia valida fino a 30 giorni.
È così che un picco di carico, una regola del firewall che mette una verifica su /robots.txt o un rate limit che lo include possono tagliare fuori crawler che si comportano bene senza che cambi una sola regola. L'ultimo comando del test sopra dovrebbe restituire 200 e text/plain. Un 5xx, un timeout o una pagina di verifica lì sono la prima cosa da correggere.
Come scopro quando è iniziato?
Una data trasforma un mistero in un confronto. Nei log di accesso filtra le richieste dagli user agent dei crawler di IA e cerca il giorno in cui i loro codici di stato sono passati da 200 a 403, 429 o 503, o il giorno in cui hanno smesso di richiedere pagine dopo aver letto il robots.txt; la nostra guida su come cercare i crawler di IA nei log del server contiene i comandi. Le richieste bloccate dalla CDN non arrivano mai all'origine, quindi controlla anche la CDN. Su Cloudflare, AI Crawl Control mostra la distribuzione dei codici di stato nel tempo, filtrabile per crawler.
Poi confronta quella data con deploy, aggiornamenti di plugin e temi, modifiche alle impostazioni della CDN e annunci dei fornitori. Prima di agire, verifica che gli IP di origine appartengano al fornitore, così da guardare il crawler reale e non un impostore che ne usa il nome.
Come me ne accorgo prima la prossima volta?
Controlla l'accesso dopo ogni deploy, modifica della CDN e aggiornamento dei plugin, non solo quando il traffico cala. Il controllo gratuito di AISeeWhy scarica una pagina come 16 crawler di IA e di ricerca accanto a un browser reale, applica il tuo robots.txt crawler per crawler e riconosce le pagine di verifica dei firewall. Il tester robots.txt gratuito mostra, crawler per crawler, se una pagina può essere scaricata secondo il file attivo oggi.
Prossimi passi
- Tester e verifica robots.txt per i crawler AI
- Controllo IP dei crawler AI
- Guarda un esempio di report completo
- Monitoraggio dei crawler AI
- Piani e prezzi
Crawler in questo articolo
Domande frequenti
Perché ChatGPT ha smesso di mostrare il mio sito?
Spesso perché OAI-SearchBot, il crawler della ricerca di ChatGPT, è stato bloccato da una modifica al robots.txt, da una policy della CDN o dalla protezione dai bot. OpenAI dice che i siti che lo bloccano non compaiono nelle risposte della ricerca di ChatGPT. Controlla ogni livello per quel crawler e, dopo aver corretto il robots.txt, aspetta circa 24 ore, il tempo che secondo OpenAI serve ai suoi sistemi per adeguarsi.
Cloudflare ha iniziato a bloccare Googlebot sul mio sito?
Può succedere. Cloudflare ha detto che dal 15 settembre 2026 i clienti che bloccano Training bloccano anche i crawler multiuso come Googlebot, Applebot e BingBot. La sua documentazione dice che l'opzione Training Disallow blocca i crawler di addestramento sull'edge ma esclude quelli a uso misto, quindi controlla quale opzione usa la tua zona.
Un site builder o un plugin può cambiare il robots.txt al posto mio?
Sì. Site builder e plugin SEO o di sicurezza possono scrivere regole per i crawler di IA nel robots.txt, e alcuni ampliano i loro elenchi di bot nel tempo. Dopo ogni aggiornamento scarica il file attivo e leggi i gruppi che si applicano ai crawler di ricerca che ti interessano.
Perché il robots.txt online è diverso dal file sul mio server?
Qualcosa davanti al tuo server lo sta modificando. Il robots.txt gestito di Cloudflare, per esempio, antepone le sue regole e i suoi content signal al tuo file nella stessa risposta. Anche un CMS che genera il robots.txt su richiesta, o un'impostazione a livello di host, può sostituirlo o ampliarlo.
Quanto tempo ci vuole perché i crawler di IA tornino dopo la correzione?
La RFC 9309 dice che i crawler non dovrebbero usare un robots.txt in cache per più di 24 ore, OpenAI indica circa 24 ore e Perplexity fino a 24 ore. Le modifiche al firewall valgono non appena il tuo provider le applica, ma i crawler tornano secondo i propri tempi.
Fonti
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Comunicato stampa di Cloudflare: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers