CCBot
CCBot er crawleren til Common Crawl, en ideell organisasjon som vedlikeholder et gratis, åpent arkiv med webcrawl-data. Arkivet brukes mye av forskere og AI-utviklere, så å blokkere CCBot er først og fremst en beslutning om trening. Det påvirker ingen søkemotor eller AI-søkeprodukt direkte.
Hva den gjør
Common Crawl er en ideell organisasjon som lager og vedlikeholder et åpent arkiv med webcrawl-data, tilgjengelig for alle uten kostnad. CCBot samler inn disse dataene. Common Crawl sier at den sjekker robots.txt før den henter en side, følger Crawl-delay og ikke kjører JavaScript.
For å blokkere den dokumenterer Common Crawl en robots.txt-gruppe for CCBot-tokenet med Disallow: /. For å bremse den i stedet foreslår Common Crawl en Crawl-delay-linje i samme gruppe.
I undersøkelsen vår fra 2026-11 blokkerte 24.1% av de populære nettstedene med robots.txt den. →
robots.txt-token
CCBot
User agent-streng
CCBot/2.0 (https://commoncrawl.org/faq/)Slik tillater du den
User-agent: CCBot
Allow: /Slik blokkerer du den
User-agent: CCBot
Disallow: /Slik verifiserer du ekte besøk
Common Crawl kjører CCBot på egne IP-områder med omvendt DNS, så du kan sjekke om en logget forespørsel kom fra den ekte CCBot. Organisasjonen publiserer IPv4- og IPv6-områdene som JSON og advarer om at andre crawlere feilaktig utgir seg for å være CCBot.
Sjekk om nettstedet ditt slipper den inn →
robots.txt for AI-crawlere: hva du bør tillate og blokkere →