CCBot
CCBot on Common Crawlin robotti. Common Crawl on voittoa tavoittelematon organisaatio, joka ylläpitää ilmaista, avointa verkon läpikäyntidatan arkistoa. Tutkijat ja tekoälykehittäjät käyttävät arkistoa laajasti, joten CCBotin estäminen on lähinnä koulutuspäätös. Se ei vaikuta suoraan mihinkään hakukoneeseen tai tekoälyhakutuotteeseen.
Mitä se tekee
Common Crawl on voittoa tavoittelematon organisaatio, joka tuottaa ja ylläpitää avointa verkon läpikäyntidatan arkistoa, jonka kuka tahansa saa käyttöönsä maksutta. CCBot kerää tämän datan. Common Crawl kertoo tarkistavansa robots.txt-tiedoston ennen sivun noutoa, noudattavansa Crawl-delay-direktiiviä eikä suorittavansa JavaScriptiä.
Sen estämiseksi Common Crawl dokumentoi robots.txt-ryhmän CCBot-tunnukselle ja säännön Disallow: /. Hidastaaksesi sitä estämisen sijaan se ehdottaa Crawl-delay-riviä samaan ryhmään.
2026-11 tekemässämme tutkimuksessa 24.1% suosituista sivustoista, joilla on robots.txt, esti sen. →
robots.txt-tunnus
CCBot
User agent -merkkijono
CCBot/2.0 (https://commoncrawl.org/faq/)Miten sen sallii
User-agent: CCBot
Allow: /Miten sen estää
User-agent: CCBot
Disallow: /Miten aidot käynnit varmistetaan
Common Crawl ajaa CCBotia omilla IP-alueillaan, joilla on käänteinen DNS, joten voit tarkistaa, tuliko lokattu pyyntö oikealta CCBotilta. Se julkaisee IPv4- ja IPv6-alueet JSON-muodossa ja varoittaa, että muut robotit esittäytyvät väärin CCBotina.