Come rallentare i crawler di IA senza bloccarli
Limita la frequenza invece di bloccare. Rispondi alle richieste in eccesso dei crawler con 429 o 503 e un'intestazione Retry-After, dai a ogni crawler il suo budget, tieni /robots.txt fuori da ogni limite e servi i crawler dalla cache. Crawl-delay nel robots.txt aiuta solo dove l'operatore lo documenta: Anthropic e Bing lo fanno, Google dice di non supportarlo, OpenAI e Perplexity non lo menzionano. Lascia consentiti i crawler di ricerca IA, altrimenti esci anche dalle risposte che alimentano.
Quando un crawler invia migliaia di richieste all'ora, la soluzione rapida è Disallow: / o un blocco nel firewall. Per un crawler di addestramento può essere una scelta sensata. Per OAI-SearchBot, Claude-SearchBot o PerplexityBot toglie le tue pagine dalle risposte dell'IA in cui vuoi comparire. Nella maggior parte dei casi il carico si può ridurre senza rinunciarvi, con segnali che i crawler già capiscono: codici di stato, cache e, per alcuni operatori, Crawl-delay.
In questa pagina
Quale crawler causa davvero il carico?
Guarda prima di cambiare qualcosa. Conta le richieste per user agent e per ora nei log di accesso e confronta gli IP di origine con gli intervalli pubblicati da ogni fornitore; la nostra guida su come cercare i crawler di IA nei log del server contiene i comandi. Due risultati capitano spesso:
- Il traffico pesante si limita a dichiararsi un crawler di IA. Se gli IP non sono nell'elenco del fornitore, le regole per il crawler reale non servono. Limita o blocca quel traffico in base alla sua origine.
- Un crawler reale è finito in una crawl trap, come pagine di calendario infinite, combinazioni di filtri o ID di sessione negli URL. Chiudere la trappola con regole
Disallowper quei percorsi fa risparmiare più di qualsiasi rate limit.
Distingui anche i crawler per funzione. I crawler di addestramento come GPTBot e ClaudeBot non sono quelli che ti rendono citabile nella ricerca con IA, quindi se il problema è uno di loro, bloccarlo è un'opzione ragionevole. Il resto di questa guida riguarda i crawler che vuoi mantenere.
Crawl-delay funziona con i crawler di IA?
Crawl-delay non fa parte della RFC 9309, quindi ogni operatore decide se leggerlo. Ecco cosa dice la documentazione a novembre 2026:
- Anthropic: supportato. La sua pagina di assistenza dice che supporta l'estensione non standard
Crawl-delayper limitare l'attività di scansione, conCrawl-delay: 1in un gruppoClaudeBotcome esempio. - Microsoft Bing: supportato. Il blog per webmaster di Bing descrive il valore come una finestra di 1-30 secondi in cui
bingbotscansiona al massimo una pagina, e dice che il crawl delay del robots.txt prevale sulle impostazioni di scansione di Bing Webmaster Tools. - Google: non supportato. La documentazione di Google sul robots.txt indica
crawl-delaycome campo che non supporta. - OpenAI e Perplexity: le loro pagine sui crawler non lo menzionano, quindi il suo effetto su
GPTBot,OAI-SearchBotoPerplexityBotnon è documentato.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Attenzione alla logica dei gruppi. Un crawler che trova un gruppo con il proprio nome ignora completamente il gruppo User-agent: *, quindi un gruppo ClaudeBot che contiene solo Crawl-delay annullerebbe tutti i Disallow impostati per gli altri. Ripetili, come sopra. Bing descrive Crawl-delay come un'eccezione che legge da entrambi i gruppi, ma non darlo per scontato per altri crawler.
Come rallentano i crawler le risposte 429 e 503?
Per i picchi di carico il codice di stato è il segnale che i crawler sono fatti per rispettare. 429 Too Many Requests, definito nella RFC 6585, significa che il client ha inviato troppe richieste in un dato intervallo e può includere un'intestazione Retry-After che indica quanto aspettare. 503 Service Unavailable dice che il server al momento non regge.
Google lo documenta come il modo per ridurre rapidamente la frequenza di scansione di Googlebot: restituire 500, 503 o 429 invece di 200 ad alcune richieste di scansione. Dice che questo riduce la frequenza di scansione per l'intero hostname e che Retry-After può contenere un numero di secondi o una data.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Fallo per poco. Google sconsiglia di farlo per più di uno o due giorni, perché un URL che restituisce questi codici per diversi giorni può essere rimosso dal suo indice. Per una riduzione duratura Google offre invece una richiesta speciale tramite Search Console.
OpenAI, Anthropic e Perplexity non documentano come reagiscono i loro crawler a 429, 503 o Retry-After. I codici sono il modo standard per chiedere meno richieste, ma quanto rapidamente rallenti ogni crawler di IA non è scritto da nessuna parte.
Come imposto un rate limit per i crawler di IA?
Dai a ogni crawler il suo budget invece di un unico limite per tutto il traffico, e rispondi con 429 alle richieste oltre la soglia. In nginx lo fa il modulo limit_req. Le richieste con chiave vuota non vengono contate, quindi una map che restituisce una chiave solo per gli user agent dei crawler lascia in pace i visitatori umani. Qui ogni crawler ha 60 richieste al minuto con un burst di 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} La chiave qui è lo user agent, quindi chiunque copi il nome di un crawler ne condivide il budget. Per un rate limit va bene. Per una regola di autorizzazione, verifica anche gli intervalli IP pubblicati dal fornitore.
Su Cloudflare le rate limiting rules fanno lo stesso lavoro sull'edge. Nel piano Free hai una regola, contata per IP su 10 secondi, e l'espressione della regola può usare il percorso e il campo Verified Bot. Il conteggio per IP è approssimativo per i crawler che distribuiscono le richieste su molti indirizzi, e i piani superiori aggiungono altre opzioni di conteggio. La risposta predefinita è 429 e puoi impostare un altro codice 4xx e un corpo personalizzato. AI Crawl Control offre Allow, Block e, in beta privata, Charge per ogni crawler, ma nessuna impostazione di frequenza.
Qualunque cosa usi, tieni /robots.txt fuori dal limite. La RFC 9309 dice che un errore del server per il robots.txt obbliga il crawler a considerare vietato l'intero sito, e Google esclude 429 dai codici 4xx che tratta come file assente.
La cache può ridurre il carico dei crawler?
Spesso più di un rate limit. I crawler chiedono soprattutto pagine pubbliche uguali per ogni visitatore, quindi servirle da una CDN o da una cache di pagina trasforma rendering costosi in hit economici. Controlla che la cache non mantenga una variante separata e non in cache per gli user agent dei crawler.
Anche le richieste condizionali aiutano. Google dice che i suoi crawler supportano la cache HTTP con ETag e If-None-Match, e con Last-Modified e If-Modified-Since, e usano ETag quando sono presenti entrambi. Le pagine sui crawler di OpenAI, Anthropic e Perplexity non dicono se i loro crawler inviano richieste condizionali, quindi conta su questo risparmio solo per Google.
Cosa evitare quando rallenti i crawler?
- Bloccare nel firewall gli intervalli IP di un fornitore. Anthropic avverte che potrebbe non funzionare correttamente o non mantenere un opt-out, perché impedisce ai suoi bot di leggere il tuo robots.txt.
- Servire
5xxo429per giorni. Google dice che gli URL che continuano a restituirli possono essere rimossi dal suo indice. - Usare la protezione dai bot come limitatore. Bot Fight Mode di Cloudflare presenta ai bot verifiche onerose dal punto di vista computazionale e non si può saltare con le WAF custom rules, quindi non puoi escludere i crawler che vuoi mantenere.
- Bloccare un crawler di ricerca per risparmiare banda. Un
DisallowperOAI-SearchBot,Claude-SearchBotoPerplexityBotti toglie dalle risposte che quei crawler alimentano.
Come verifico che i crawler passino ancora?
È facile impostare rate limit troppo stretti. Il controllo gratuito di AISeeWhy scarica una pagina come 16 crawler di IA e di ricerca accanto a un browser reale, applica il tuo robots.txt crawler per crawler e riconosce le pagine di verifica dei firewall, quindi una regola che risponde ai crawler diversamente dai browser salta all'occhio. Una richiesta per crawler non fa scattare un limite ragionevole, ed è proprio questo il punto: eseguilo dopo aver cambiato le regole per confermare che le richieste normali passano ancora. La verifica IP gratuita dei crawler di IA ti dice se un IP dei tuoi log appartiene davvero a GPTBot o a un altro crawler.
Prossimi passi
- Tester e verifica robots.txt per i crawler AI
- Controllo IP dei crawler AI
- Guarda un esempio di report completo
- Monitoraggio dei crawler AI
- Piani e prezzi
Crawler in questo articolo
Domande frequenti
Google supporta Crawl-delay?
No. La documentazione di Google sul robots.txt elenca crawl-delay tra i campi che non supporta. Per rallentare Googlebot per poco tempo, restituisci 503, 500 o 429 ad alcune richieste; per una riduzione più lunga Google offre una richiesta speciale tramite Search Console.
ClaudeBot rispetta Crawl-delay?
Anthropic dice di supportare l'estensione non standard Crawl-delay. Mettila in un gruppo ClaudeBot e ripeti lì tutte le regole Disallow del tuo gruppo User-agent: *.
GPTBot e PerplexityBot supportano Crawl-delay?
Le pagine sui crawler di OpenAI e Perplexity non menzionano Crawl-delay, quindi il suo effetto non è documentato. Usa un limite lato server che risponde alle richieste in eccesso con 429.
Una risposta 429 danneggia il mio posizionamento?
Non per un breve periodo. Google documenta 429 e 503 come modo per ridurre temporaneamente la scansione, ma avverte che gli URL che li restituiscono per diversi giorni possono essere rimossi dal suo indice.
Devo bloccare GPTBot per ridurre il carico?
Puoi farlo. OpenAI dice che GPTBot scansiona contenuti che possono essere usati per l'addestramento e che ogni impostazione del robots.txt è indipendente, quindi bloccarlo non ti toglie dalla ricerca di ChatGPT, che usa OAI-SearchBot. Prima controlla i log per assicurarti che il carico venga dagli indirizzi di OpenAI.
Fonti
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (cache HTTP)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers