CCBot
CCBot är crawlern för Common Crawl, en ideell organisation som underhåller ett gratis, öppet arkiv med data från genomsökningar av webben. Arkivet används flitigt av forskare och AI-utvecklare, så att blockera CCBot är främst ett träningsbeslut. Det påverkar ingen sökmotor eller AI-sökprodukt direkt.
Vad den gör
Common Crawl är en ideell organisation som skapar och underhåller ett öppet arkiv med data från genomsökningar av webben, tillgängligt för alla utan kostnad. CCBot samlar in datan. Common Crawl säger att de kontrollerar robots.txt innan de hämtar en sida, följer Crawl-delay och inte kör JavaScript.
För att blockera den dokumenterar Common Crawl en robots.txt-grupp för token CCBot med Disallow: /. För att i stället sakta ned den föreslår de en Crawl-delay-rad i samma grupp.
I vår studie från 2026-11 blockerade 24.1% av de populära sajterna med en robots.txt den. →
robots.txt-token
CCBot
User agent-sträng
CCBot/2.0 (https://commoncrawl.org/faq/)Så tillåter du den
User-agent: CCBot
Allow: /Så blockerar du den
User-agent: CCBot
Disallow: /Så verifierar du riktiga besök
Common Crawl kör CCBot på dedikerade IP-intervall med omvänd DNS, så du kan kontrollera om en loggad förfrågan kom från den riktiga CCBot. De publicerar IPv4- och IPv6-intervallen som JSON och varnar för att andra crawlers felaktigt utger sig för att vara CCBot.
Kontrollera om din sajt släpper in den →
robots.txt för AI-crawlers: vad du ska tillåta och blockera →