CCBot
CCBot is de crawler van Common Crawl, een non-profitorganisatie die een gratis, open archief van webcrawldata bijhoudt. Het archief wordt veel gebruikt door onderzoekers en AI-ontwikkelaars, dus CCBot blokkeren is vooral een beslissing over training. Het heeft geen direct effect op zoekmachines of AI-zoekproducten.
Wat de crawler doet
Common Crawl is een non-profitorganisatie die een open archief van webcrawldata maakt en bijhoudt, voor iedereen gratis beschikbaar. CCBot verzamelt die data. Common Crawl zegt dat het robots.txt controleert voordat het een pagina ophaalt, Crawl-delay naleeft en geen JavaScript uitvoert.
Om hem te blokkeren beschrijft Common Crawl een robots.txt-groep voor het CCBot-token met Disallow: /. Om hem af te remmen stelt het een Crawl-delay-regel in dezelfde groep voor.
In ons onderzoek van 2026-11 blokkeerde 24.1% van de populaire sites met een robots.txt deze crawler. →
robots.txt-token
CCBot
User-agentstring
CCBot/2.0 (https://commoncrawl.org/faq/)Zo sta je hem toe
User-agent: CCBot
Allow: /Zo blokkeer je hem
User-agent: CCBot
Disallow: /Zo verifieer je echte bezoeken
Common Crawl draait CCBot op eigen IP-bereiken met reverse DNS, zodat je kunt nagaan of een gelogd verzoek van de echte CCBot kwam. Het publiceert de IPv4- en IPv6-bereiken als JSON en waarschuwt dat andere crawlers zich ten onrechte als CCBot voordoen.
Controleer of je site hem toelaat →
robots.txt voor AI-crawlers: wat je toestaat en wat je blokkeert →