CCBot
CCBot er crawleren fra Common Crawl, en nonprofitorganisation, der vedligeholder et gratis, åbent arkiv med data fra gennemgang af nettet. Arkivet bruges bredt af forskere og AI-udviklere, så en blokering af CCBot er hovedsageligt en beslutning om træning. Den påvirker ikke direkte nogen søgemaskine eller noget AI-søgeprodukt.
Hvad den gør
Common Crawl er en nonprofitorganisation, der producerer og vedligeholder et åbent arkiv med data fra gennemgang af nettet, som er tilgængeligt for alle uden beregning. CCBot indsamler disse data. Common Crawl siger, at den tjekker robots.txt, før den henter en side, overholder Crawl-delay og ikke udfører JavaScript.
For at blokere den dokumenterer Common Crawl en robots.txt-gruppe for tokenet CCBot med Disallow: /. Hvis du i stedet vil bremse den, foreslår Common Crawl en Crawl-delay-linje i samme gruppe.
I vores undersøgelse fra 2026-11 blokerede 24.1% af populære websites med en robots.txt den. →
robots.txt-token
CCBot
User agent-streng
CCBot/2.0 (https://commoncrawl.org/faq/)Sådan tillader du den
User-agent: CCBot
Allow: /Sådan blokerer du den
User-agent: CCBot
Disallow: /Sådan verificerer du ægte besøg
Common Crawl kører CCBot på dedikerede IP-intervaller med reverse DNS, så du kan tjekke, om en logget forespørgsel kom fra den rigtige CCBot. Den offentliggør IPv4- og IPv6-intervallerne som JSON og advarer om, at andre crawlere fejlagtigt udgiver sig for at være CCBot.
Tjek, om dit website lukker den ind →
robots.txt til AI-crawlere: hvad du skal tillade, og hvad du skal blokere →