CCBot
CCBot ist der Crawler von Common Crawl, einer gemeinnützigen Organisation, die ein freies, offenes Archiv von Crawl-Daten des Webs pflegt. Das Archiv wird häufig von Forschenden und KI-Entwicklern genutzt, weshalb das Blockieren von CCBot vor allem eine Entscheidung zum Training ist. Eine Suchmaschine oder ein KI-Suchprodukt ist davon nicht direkt betroffen.
Was er tut
Common Crawl ist eine gemeinnützige Organisation, die ein offenes Archiv von Crawl-Daten des Webs erstellt und pflegt, das jedem kostenlos zur Verfügung steht. CCBot sammelt diese Daten. Laut Common Crawl prüft der Bot die robots.txt, bevor er eine Seite abruft, befolgt Crawl-delay und führt kein JavaScript aus.
Zum Blockieren dokumentiert Common Crawl eine robots.txt-Gruppe für das Token CCBot mit Disallow: /. Um ihn stattdessen zu bremsen, schlägt Common Crawl eine Crawl-delay-Zeile in derselben Gruppe vor.
In unserer Studie vom 2026-11 blockierten 24.1% der beliebten Websites mit einer robots.txt ihn. →
robots.txt-Token
CCBot
User-Agent-String
CCBot/2.0 (https://commoncrawl.org/faq/)So lassen Sie ihn zu
User-agent: CCBot
Allow: /So blockieren Sie ihn
User-agent: CCBot
Disallow: /So prüfen Sie echte Besuche
Common Crawl betreibt CCBot auf dedizierten IP-Bereichen mit Reverse-DNS, sodass Sie prüfen können, ob eine protokollierte Anfrage vom echten CCBot stammt. Die IPv4- und IPv6-Bereiche werden als JSON veröffentlicht, und Common Crawl warnt, dass sich andere Crawler fälschlich als CCBot ausgeben.
Prüfen, ob Ihre Website ihn hereinlässt →
robots.txt für KI-Crawler: was Sie erlauben und was Sie sperren →