CCBot
CCBot est le robot de Common Crawl, une organisation à but non lucratif qui maintient un dépôt libre et gratuit de données d'exploration du web. Cette archive est très utilisée par les chercheurs et les développeurs d'IA ; bloquer CCBot est donc surtout une décision d'entraînement. Cela n'affecte directement aucun moteur de recherche ni produit de recherche IA.
Ce qu'il fait
Common Crawl est une organisation à but non lucratif qui produit et maintient un dépôt ouvert de données d'exploration du web, accessible gratuitement à tous. CCBot collecte ces données. Common Crawl indique qu'il consulte robots.txt avant de récupérer une page, respecte Crawl-delay et n'exécute pas JavaScript.
Pour le bloquer, Common Crawl documente un groupe robots.txt pour le jeton CCBot avec Disallow: /. Pour le ralentir plutôt que le bloquer, il suggère une ligne Crawl-delay dans le même groupe.
Dans notre étude de 2026-11, 24.1% des sites populaires avec un robots.txt le bloquaient. →
Jeton robots.txt
CCBot
Chaîne user agent
CCBot/2.0 (https://commoncrawl.org/faq/)Comment l'autoriser
User-agent: CCBot
Allow: /Comment le bloquer
User-agent: CCBot
Disallow: /Comment vérifier les visites réelles
Common Crawl exécute CCBot sur des plages d'IP dédiées avec DNS inverse : vous pouvez donc vérifier si une requête consignée vient du vrai CCBot. Il publie les plages IPv4 et IPv6 au format JSON et avertit que d'autres robots se font passer à tort pour CCBot.
Vérifiez si votre site le laisse entrer →
robots.txt pour les robots d'IA : quoi autoriser, quoi bloquer →