CCBot

Common Crawl · Entrenament d'IA

CCBot és el rastrejador de Common Crawl, una organització sense ànim de lucre que manté un repositori obert i gratuït de dades de rastreig del web. Investigadors i desenvolupadors d'IA fan servir molt aquest arxiu, així que bloquejar CCBot és sobretot una decisió sobre l'entrenament. No afecta directament cap cercador ni cap producte de cerca amb IA.

Com permetre'l

User-agent: CCBot
Allow: /

Com bloquejar-lo

User-agent: CCBot
Disallow: /

Què fa

Common Crawl és una organització sense ànim de lucre que produeix i manté un repositori obert de dades de rastreig del web, disponible gratuïtament per a tothom. CCBot recull aquestes dades. Common Crawl diu que consulta robots.txt abans d'obtenir una pàgina, respecta Crawl-delay i no executa JavaScript.

Per bloquejar-lo, Common Crawl documenta un grup de robots.txt per al token CCBot amb Disallow: /. Per alentir-lo en lloc de bloquejar-lo, suggereix una línia Crawl-delay al mateix grup.

Al nostre estudi de 2026-11, el 24.1% dels llocs populars amb robots.txt el bloquejaven. →

Token de robots.txt

CCBot

Cadena del user agent

CCBot/2.0 (https://commoncrawl.org/faq/)

Com verificar les visites reals

Common Crawl executa CCBot en rangs d'IP dedicats amb DNS inversa, així que pots comprovar si una petició registrada venia del CCBot real. Publica els rangs IPv4 i IPv6 en JSON i adverteix que altres rastrejadors s'identifiquen falsament com a CCBot.

Comprova si el teu lloc el deixa entrar →

robots.txt per a rastrejadors d'IA: què permetre i què bloquejar →