Come leggere il report AI Crawl Control di Cloudflare e vedere quali crawler di IA entrano
Apri AI Crawl Control nella dashboard di Cloudflare: l'elenco dei crawler mostra ogni crawler di IA che Cloudflare ha visto sul tuo dominio, le sue richieste, le sue violazioni del robots.txt e se la sua azione è Allow o Block. Per mantenere la ricerca IA rifiutando l'addestramento, consenti i crawler di ricerca e gli agenti e blocca o vieta i crawler di addestramento lì oppure nelle AI Crawler and Agent access policies. Poi verifica dall'esterno con curl, perché altre funzioni di Cloudflare possono comunque bloccare un crawler che hai consentito.
Cloudflare ha ora due punti che decidono cosa ricevono i crawler di IA: AI Crawl Control, il report e pannello di controllo per crawler che prima si chiamava AI Audit, e le AI Crawler and Agent access policies valide per tutta la zona, nelle impostazioni di Security. Entrambi sono disponibili nel piano Free, entrambi sono cambiati nel corso del 2026 e nessuno dei due ti informa su tutte le altre funzioni che possono comunque rispondere a un crawler con un 403. Questa guida percorre il report colonna per colonna, mostra dove impostare consenso e blocco e si chiude con un test che puoi eseguire dal tuo computer.
In questa pagina
- Dove si trova il report sui crawler di IA in Cloudflare?
- Cosa significano le colonne e le metriche del report AI Crawl Control?
- Come consento i crawler di ricerca IA e blocco quelli di addestramento in Cloudflare?
- Cosa è cambiato nelle impostazioni predefinite di Cloudflare per i crawler di IA?
- Perché Cloudflare blocca ancora i crawler di IA dopo che li ho consentiti?
- Come verifico dall'esterno quali crawler di IA lascia entrare Cloudflare?
- Come controlla AISeeWhy cosa invia Cloudflare ai crawler di IA?
Dove si trova il report sui crawler di IA in Cloudflare?
Nella dashboard, seleziona account e dominio, poi apri AI Crawl Control. Cloudflare dice che funziona senza configurazione ed è disponibile in tutti i piani, purché il traffico del dominio passi tramite il proxy di Cloudflare. Ha quattro aree:
- Overview: un riepilogo con le richieste totali, la variazione del volume, il codice di stato più frequente, il percorso più richiesto e i crawler con più traffico, oltre a se il robots.txt gestito di Cloudflare è attivo e ai crawler raggruppati per operatore, come OpenAI, Microsoft, Google, ByteDance, Anthropic e Meta.
- L'elenco dei crawler: una riga per crawler di IA, con una colonna Action in cui scegli Allow o Block. La documentazione di Cloudflare chiama questa scheda Crawlers in una pagina e Security in un'altra, quindi cerca la tabella con la colonna Action.
- Metrics: richieste nel tempo, distribuzione dei codici di stato, formato dei contenuti, percorsi più richiesti e, nei piani a pagamento, referral. I filtri coprono intervallo di date, crawler, operatore, hostname e percorso, e puoi esportare un CSV.
- Directives: lo stato del tuo file robots.txt e l'elenco delle violazioni del robots.txt.
Due limiti dei piani contano quando leggi i numeri. Nel piano Free, AI Crawl Control riconosce i crawler solo dalla stringa dello user agent, quindi vede i crawler che si dichiarano e nient'altro, e la scheda Metrics copre le ultime 24 ore. I piani a pagamento aggiungono il rilevamento tramite il detection ID di Bot Management, ed Enterprise con Bot Management ha intervalli di tempo configurabili.
Cosa significano le colonne e le metriche del report AI Crawl Control?
Cloudflare documenta i campi così. Le definizioni contano, perché diversi numeri contano più di quanto ci si aspetterebbe.
- Crawler e Category: il nome del crawler, il suo operatore e la sua categoria, come AI crawler, AI assistant o archiver.
- Requests: richieste consentite più richieste non riuscite, con un grafico della tendenza. Le richieste non riuscite possono derivare da qualsiasi regola o errore di risposta, non solo da un blocco di AI Crawl Control, quindi un numero alto per un crawler che hai consentito indica un'altra regola o errori sul tuo server di origine.
- Allowed requests: richieste che hanno ricevuto uno stato tra 200 e 299. Il trasferimento dati è misurato sui byte che Cloudflare ha inviato per le richieste consentite.
- Robots.txt violations: quante volte il crawler ha richiesto un percorso vietato dal tuo robots.txt. Cloudflare confronta le richieste passate con le regole attuali, quindi una regola aggiunta oggi può segnalare richieste che erano consentite quando sono state fatte.
- Action: Allow, Block oppure, per gli account nella beta di pay per crawl, Charge.
- Distribuzione dei codici di stato: 2xx, 3xx, 4xx e 5xx. Il gruppo 4xx comprende i 403 dei blocchi e i 402 di pay per crawl.
- Referral e principali referrer, solo nei piani a pagamento: visite arrivate da servizi di IA, per esempio da chatgpt.com, e le pagine su cui sono atterrate.
Leggi il report partendo dall'azione che hai scelto. Un crawler impostato su Allow dovrebbe mostrare soprattutto richieste consentite e codici 2xx. Se mostra molte richieste non riuscite, apri la distribuzione dei codici di stato filtrata per quel crawler e controlla Security Analytics per trovare la regola che ha risposto.
Come consento i crawler di ricerca IA e blocco quelli di addestramento in Cloudflare?
Puoi farlo per crawler o per comportamento. Per crawler, apri AI Crawl Control e imposta l'Action di ogni riga. Cloudflare dice che bloccare lì crea o aggiorna una regola personalizzata del WAF nella tua zona, che puoi estendere nel WAF con eccezioni per percorso. Nei piani a pagamento puoi scegliere se i crawler bloccati ricevono un 403 o un 402 e impostare un corpo in testo semplice.
Per comportamento, vai su Security, poi Settings, filtra per Bot traffic e apri AI Crawler and Agent access policies. Cloudflare divide il traffico di IA in tre comportamenti, e ogni policy si applica ai bot verificati con quel comportamento e ai bot non verificati corrispondenti:
- Search: raccogliere o indicizzare contenuti per poter rispondere a domande in seguito.
- Agent: agire in tempo reale per conto di una persona, come i recuperi da una chat e gli agenti nel browser.
- Training: raccogliere contenuti per addestrare o perfezionare modelli, compresi i crawler usati sia per l'addestramento sia per la ricerca.
Ogni comportamento può essere impostato su Block, Block on pages with ads o Allow (do not block). Training ha anche Disallow, che si limita a chiedere ai crawler tramite il robots.txt. Con Bot Preference Sync attivo, Cloudflare antepone al tuo robots.txt regole gestite che vietano Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot e meta-externalagent, aggiunge una riga Content Signals e blocca anche i crawler di addestramento all'edge, tranne quelli usati sia per la ricerca sia per l'addestramento.
Per la maggior parte dei siti che vogliono essere citati dall'IA, la combinazione sicura è Search e Agent su Allow e Training su Disallow, poi singole azioni Block in AI Crawl Control per i crawler di solo addestramento che vuoi fermare all'edge.
Cosa è cambiato nelle impostazioni predefinite di Cloudflare per i crawler di IA?
Il 1° luglio 2025 Cloudflare ha annunciato che avrebbe cambiato l'impostazione predefinita per bloccare i crawler di IA, a meno che non paghino i creatori. Il 1° luglio 2026 ha sostituito l'unico interruttore Block AI bots con le policy separate Search, Agent e Training descritte sopra, per tutti i piani incluso Free. Lo stesso annuncio diceva che i nuovi domini aggiunti dal 15 settembre 2026 avrebbero avuto Training e Agent bloccati sulle pagine con annunci, con Search consentito.
L'attuale documentazione di Cloudflare sulle policy, aggiornata il 2 novembre 2026, dice che i nuovi domini hanno Allow (do not block) come impostazione predefinita per tutti e tre i comportamenti. Poiché le pagine di Cloudflare hanno descritto impostazioni predefinite diverse in momenti diversi, non fare affidamento su nessuna di esse per la tua zona: apri la pagina delle policy e leggi cosa è impostato.
Perché Cloudflare blocca ancora i crawler di IA dopo che li ho consentiti?
L'azione Allow in AI Crawl Control impedisce soltanto ad AI Crawl Control di bloccare. Le altre funzioni continuano ad agire sulla richiesta. Cause comuni:
- Bloccare Training blocca anche i crawler di ricerca che fanno entrambe le cose. La documentazione di Cloudflare dice che le azioni Training si applicano ai crawler a uso misto, e l'annuncio di luglio 2026 indica Googlebot, Applebot e bingbot tra i crawler che i clienti che bloccano Training bloccheranno dal 15 settembre 2026. Disallow è la scelta più mirata, perché il suo blocco all'edge esclude i crawler a uso misto.
- Bot Fight Mode è attivo. Cloudflare afferma che non puoi aggirare o saltare Bot Fight Mode con regole personalizzate del WAF o con Page Rules. Se presenta una verifica a un crawler, disattivalo oppure, in un piano che lo prevede, usa Super Bot Fight Mode, che supporta le regole di esclusione.
- Una vecchia regola personalizzata del WAF blocca gli user agent che contengono
bot, oppure una regola di rate limiting risponde ai picchi con un 429. Queste regole agiscono a prescindere dall'Action in AI Crawl Control. - La regola di blocco è stata modificata a mano. Se la regola WAF dietro AI Crawl Control è stata cambiata per usare un altro codice di risposta, la dashboard non può più applicare la tua scelta.
- Il robots.txt vieta ancora il crawler. L'Allow di Cloudflare non modifica il tuo robots.txt, quindi un crawler rispettoso resta comunque fuori. Nel nostro studio sui 1.000 domini più popolari, 98 dei 155 siti che bloccavano un crawler di addestramento nel robots.txt bloccavano anche almeno un crawler di ricerca o utente.
Come verifico dall'esterno quali crawler di IA lascia entrare Cloudflare?
Richiedi la stessa pagina con lo user agent di un browser e con quello di ciascun crawler, poi confronta stato e dimensione. Le stringhe di OpenAI, Perplexity e Google qui sotto sono quelle pubblicate da quelle aziende.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Una riga di un crawler con 403, 429 o 503, o con una dimensione molto più piccola di quella del browser, significa che qualcosa davanti al tuo server di origine ha risposto in modo diverso. Nel piano Free, AI Crawl Control rileva i crawler dallo user agent, quindi questo test è una verifica ragionevole dei suoi blocchi. Le regole basate sullo stato di bot verificato o sui punteggi dei bot possono trattare la tua richiesta diversamente dal crawler vero, perché arriva dal tuo indirizzo IP e non dagli intervalli pubblicati dall'operatore. Dopo il test, cerca le tue richieste in Security Analytics per vedere quale regola è scattata.
Come controlla AISeeWhy cosa invia Cloudflare ai crawler di IA?
Il controllo gratuito di AISeeWhy richiede la tua pagina come 16 crawler di IA e di ricerca accanto a un browser reale, applica il tuo robots.txt crawler per crawler e riconosce le pagine di verifica dei firewall, così puoi vedere se il risultato nella dashboard di Cloudflare corrisponde a ciò che i crawler ricevono davvero.
Correzioni per questo problema
Prossimi passi
- Tester e verifica robots.txt per i crawler AI
- Controllo IP dei crawler AI
- Guarda un esempio di report completo
- Monitoraggio dei crawler AI
- Piani e prezzi
Crawler in questo articolo
Domande frequenti
AI Crawl Control di Cloudflare è gratuito?
Sì. Cloudflare indica AI Crawl Control come disponibile in tutti i piani. Il piano Free rileva i crawler solo dallo user agent e mostra le ultime 24 ore in Metrics; i dati sui referral e le risposte di blocco personalizzate richiedono un piano a pagamento.
Che fine ha fatto Cloudflare AI Audit?
È stato rinominato. La documentazione di Cloudflare descrive AI Crawl Control come l'ex AI Audit, con lo stesso scopo: vedere quali crawler di IA visitano il sito e impostare un'azione per ciascuno.
Bloccare un crawler in AI Crawl Control modifica il mio robots.txt?
No. Un'azione Block crea o aggiorna una regola personalizzata del WAF. Il robots.txt cambia solo se usi l'opzione Disallow per Training con Bot Preference Sync, che antepone al tuo file le regole gestite di Cloudflare.
Cosa conta come violazione del robots.txt in Cloudflare?
Una richiesta di un crawler di IA a un percorso che il tuo robots.txt vieta. Cloudflare confronta le richieste passate con le regole attuali, quindi una nuova regola può segnalare richieste precedenti che all'epoca erano consentite.
Cos'è pay per crawl?
Un'azione Charge che chiede ai crawler di IA di pagare per ogni richiesta, rispondendo altrimenti con HTTP 402 e un prezzo. Cloudflare la descrive come una beta chiusa, e i blocchi del WAF o di Bot Management hanno la precedenza.
Fonti
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11