CCBot
CCBot es el rastreador de Common Crawl, una organización sin ánimo de lucro que mantiene un repositorio abierto y gratuito de datos de rastreo web. Investigadores y desarrolladores de IA usan mucho ese archivo, por lo que bloquear CCBot es sobre todo una decisión sobre el entrenamiento. No afecta directamente a ningún motor de búsqueda ni producto de búsqueda con IA.
Qué hace
Common Crawl es una organización sin ánimo de lucro que produce y mantiene un repositorio abierto de datos de rastreo web, disponible gratis para cualquiera. CCBot recopila esos datos. Common Crawl dice que consulta robots.txt antes de obtener una página, obedece Crawl-delay y no ejecuta JavaScript.
Para bloquearlo, Common Crawl documenta un grupo de robots.txt para el token CCBot con Disallow: /. Para ralentizarlo en lugar de bloquearlo, sugiere una línea Crawl-delay en el mismo grupo.
En nuestro estudio de 2026-11, 24.1% de los sitios populares con un robots.txt lo bloqueaban. →
Token de robots.txt
CCBot
Cadena de user agent
CCBot/2.0 (https://commoncrawl.org/faq/)Cómo permitirlo
User-agent: CCBot
Allow: /Cómo bloquearlo
User-agent: CCBot
Disallow: /Cómo verificar las visitas reales
Common Crawl ejecuta CCBot en rangos de IP dedicados con DNS inverso, de modo que puede comprobar si una solicitud registrada procede del CCBot real. Publica los rangos IPv4 e IPv6 en JSON y advierte de que otros rastreadores se hacen pasar falsamente por CCBot.
Compruebe si su sitio le deja entrar →
robots.txt para rastreadores de IA: qué permitir y qué bloquear →