Cloudflare blocca i crawler di IA? Come scoprirlo e risolvere

Pubblicato 2026-11-12

Risposta breve

Cloudflare e altri firewall possono rispondere ai crawler di IA con un 403, un 429 o una pagina di verifica «Just a moment...» mentre i browser ricevono la pagina vera, anche se il robots.txt consente il crawler. Controlla richiedendo la pagina con lo user agent del crawler, poi consenti i crawler di ricerca di IA in AI Crawl Control o con una regola di esclusione del WAF.

La protezione dai bot esiste per fermare scraper e abusi, e lo fa bene. Il problema è che anche i crawler di ricerca di IA sono bot. Un'impostazione di sicurezza attivata anni fa, un limite di frequenza o una regola ampia contro gli user agent sconosciuti può tenere fuori in silenzio i crawler che ti citano, mentre le tue visite sembrano perfettamente normali.

In questa pagina

Perché un firewall dovrebbe bloccare i crawler di IA?
Come distinguo un blocco del firewall da uno del robots.txt?
Come consento i crawler di ricerca di IA in Cloudflare?
E il Bot Fight Mode?
Quali crawler devo far passare?
Come rileva AISeeWhy i blocchi del firewall?

Perché un firewall dovrebbe bloccare i crawler di IA?

I firewall giudicano ogni richiesta. Un crawler non esegue le sfide JavaScript, non conserva i cookie come un browser e spesso richiede molte pagine di seguito, quindi può somigliare esattamente al traffico che la protezione dai bot è fatta per fermare. Le cause comuni sono:

Funzioni di protezione dai bot che sottopongono a una sfida il traffico che corrisponde a modelli di bot noti. Il Bot Fight Mode di Cloudflare, per esempio, impone ai bot sfide costose da calcolare.
Regole personalizzate del WAF che bloccano o sfidano gli user agent contenenti parole come «bot» o «crawler», o che consentono solo un breve elenco di motori di ricerca.
Impostazioni che bloccano i crawler di IA come categoria. Cloudflare permette di definire criteri per i crawler Search, Agent e Training, e un'impostazione Block si applica a tutti.
Limiti di frequenza che rispondono con un 429 alla rapida sequenza di richieste di un crawler.
Blocchi per paese o per ASN che coprono per caso le reti da cui operano i crawler.

Come distinguo un blocco del firewall da uno del robots.txt?

Un blocco del robots.txt è una richiesta educata: il crawler legge le tue regole e non scarica la pagina. Un blocco del firewall è una risposta: il crawler richiede la pagina e riceve qualcos'altro. Il secondo tipo si vede direttamente. Richiedi la pagina due volte, una con uno user agent da browser e una con quello del crawler, e confronta.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Segnali di un blocco del firewall: stato 403, 429 o 503 solo per il crawler; una pagina intitolata Just a moment... o Attention Required! | Cloudflare; un corpo che contiene /cdn-cgi/challenge-platform; oppure una risposta 200 molto più corta di quella del browser. Ricorda che il tuo test parte dal tuo IP, non dall'intervallo di IP verificato del crawler, quindi mostra come il firewall tratta lo user agent, non ogni dettaglio di come tratta il vero crawler.

Come consento i crawler di ricerca di IA in Cloudflare?

AI Crawl Control di Cloudflare, disponibile in tutti i piani, elenca i crawler di IA che visitano il tuo dominio e permette di impostare un'azione per ciascuno. Nella dashboard apri AI Crawl Control, vai all'elenco Crawlers e scegli Allow o Block nella colonna Action per ogni crawler. Cloudflare precisa che bloccare da lì crea o aggiorna una regola personalizzata del WAF sulla tua zona.

Se a bloccare il crawler è una regola personalizzata del WAF, il Super Bot Fight Mode o un limite di frequenza, aggiungi una regola personalizzata che salti queste funzioni per i bot verificati e per il token del crawler:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Metti la regola al primo posto. Tieni presente che confrontare lo user agent fa passare anche chi falsifica quello user agent. Quando puoi, preferisci il campo dei bot verificati (cf.client.bot) o gli intervalli di IP pubblicati dal fornitore.

E il Bot Fight Mode?

La documentazione di Cloudflare è esplicita: il Bot Fight Mode non può essere aggirato né saltato con regole personalizzate del WAF o con le Page Rules. Se è la funzione che sfida i crawler, una regola di esclusione non aiuta. Le opzioni sono disattivare il Bot Fight Mode oppure usare il Super Bot Fight Mode in un piano che lo include, che funziona sul Ruleset Engine e supporta le regole di esclusione.

Quali crawler devo far passare?

Separa i crawler in base a ciò che fanno. I crawler di ricerca e quelli di download su richiesta dell'utente decidono se le risposte dell'IA possono trovarti e citarti. I crawler di addestramento raccolgono dati per i modelli, e bloccarli è una scelta legittima che non ti toglie dalla ricerca con IA.

Ricerca: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
Download su richiesta dell'utente: ChatGPT-User, Claude-User, Perplexity-User.
Addestramento: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Le impostazioni dei criteri di Cloudflare usano la stessa divisione in Search, Agent e Training, quindi puoi consentire i primi due e decidere separatamente sul terzo. Se usi un altro firewall o CDN, il principio è lo stesso: inserisci il token del crawler in una lista di elementi consentiti, verificato con gli intervalli di IP pubblicati dal fornitore o con il DNS inverso quando disponibile, così riceve la stessa risposta di un browser.

Come rileva AISeeWhy i blocchi del firewall?

AISeeWhy richiede la tua pagina come 14 crawler e un normale browser, confronta stato, dimensione e reindirizzamenti, riconosce le pagine di verifica e indica il firewall o la CDN che ha risposto. Quando il robots.txt consente un crawler ma il server lo blocca, il report mostra il conflitto e fornisce la regola di Cloudflare o il passaggio della lista di elementi consentiti per risolverlo.

Domande frequenti

Cloudflare blocca i crawler di IA per impostazione predefinita?

Dipende dal tuo account, dal piano e dalle impostazioni della tua zona, e Cloudflare ha modificato queste opzioni nel tempo. Controlla AI Crawl Control e le tue impostazioni dei bot, e fai una prova con lo user agent del crawler invece di dare per scontato.

Perché il mio sito funziona in un browser ma non per i crawler?

I firewall giudicano ogni richiesta. Un browser supera le sfide JavaScript e conserva i cookie; un crawler no, quindi può ricevere una pagina di verifica o un 403 che tu non vedi mai.

È sicuro consentire i crawler di IA nel WAF?

Consentire un crawler specifico comporta poco rischio se lo verifichi con gli intervalli di IP del fornitore o con il segnale di bot verificato di Cloudflare. Le regole che si fidano solo dello user agent fanno entrare anche chi lo copia.

La funzione di offuscamento delle email di Cloudflare influisce sui crawler di IA?

Sostituisce gli indirizzi email con un link che solo uno script decodifica, quindi i crawler vedono un segnaposto al posto dell'indirizzo. Se vuoi che la tua email di contatto sia leggibile, disattiva Email Address Obfuscation in Scrape Shield e mostra l'indirizzo come testo semplice.