CCBot
O CCBot é o crawler do Common Crawl, uma organização sem fins lucrativos que mantém um repositório gratuito e aberto de dados de rastreamento da web. O arquivo é muito usado por pesquisadores e desenvolvedores de IA, então bloquear o CCBot é principalmente uma decisão sobre treinamento. Ele não afeta diretamente nenhum mecanismo de busca nem produto de busca por IA.
O que ele faz
O Common Crawl é uma organização sem fins lucrativos que produz e mantém um repositório aberto de dados de rastreamento da web, disponível a qualquer pessoa sem custo. O CCBot coleta esses dados. O Common Crawl diz que consulta o robots.txt antes de buscar uma página, obedece ao Crawl-delay e não executa JavaScript.
Para bloqueá-lo, o Common Crawl documenta um grupo do robots.txt para o token CCBot com Disallow: /. Para desacelerá-lo, ele sugere uma linha Crawl-delay no mesmo grupo.
No nosso estudo de 2026-11, 24.1% dos sites populares com robots.txt o bloqueavam. →
Token do robots.txt
CCBot
String de user agent
CCBot/2.0 (https://commoncrawl.org/faq/)Como permitir
User-agent: CCBot
Allow: /Como bloquear
User-agent: CCBot
Disallow: /Como verificar visitas reais
O Common Crawl executa o CCBot em faixas de IP dedicadas com DNS reverso, então você pode verificar se uma requisição registrada veio do CCBot real. Ele publica as faixas IPv4 e IPv6 em JSON e avisa que outros crawlers se identificam falsamente como CCBot.
Veja se seu site deixa ele entrar →
robots.txt para crawlers de IA: o que liberar e o que bloquear →