CCBot
CCBot è il crawler di Common Crawl, un'organizzazione non profit che mantiene un archivio libero e aperto di dati di scansione del web. L'archivio è molto usato da ricercatori e sviluppatori di AI, quindi bloccare CCBot è soprattutto una decisione sull'addestramento. Non influisce direttamente su alcun motore di ricerca o prodotto di ricerca AI.
Cosa fa
Common Crawl è un'organizzazione non profit che produce e mantiene un archivio aperto di dati di scansione del web, disponibile a chiunque senza costi. CCBot raccoglie quei dati. Common Crawl afferma di controllare il robots.txt prima di recuperare una pagina, di rispettare Crawl-delay e di non eseguire JavaScript.
Per bloccarlo, Common Crawl documenta un gruppo robots.txt per il token CCBot con Disallow: /. Per rallentarlo invece, suggerisce una riga Crawl-delay nello stesso gruppo.
Nel nostro studio di 2026-11, 24.1% dei siti popolari con un robots.txt lo bloccava. →
Token robots.txt
CCBot
Stringa user agent
CCBot/2.0 (https://commoncrawl.org/faq/)Come consentirlo
User-agent: CCBot
Allow: /Come bloccarlo
User-agent: CCBot
Disallow: /Come verificare le visite reali
Common Crawl esegue CCBot su intervalli IP dedicati con DNS inverso, quindi puoi controllare se una richiesta registrata proviene dal vero CCBot. Pubblica gli intervalli IPv4 e IPv6 come JSON e avverte che altri crawler si identificano falsamente come CCBot.
Controlla se il tuo sito lo lascia entrare →
robots.txt per i crawler di IA: cosa consentire, cosa bloccare →