CCBot
CCBot je crawler organizacije Common Crawl, neprofitne organizacije koja održava besplatan, otvoren repozitorij podataka pretraživanja weba. Arhivu široko koriste istraživači i razvojni programeri AI-ja, pa je blokiranje CCBota uglavnom odluka o treniranju. Ne utječe izravno ni na jednu tražilicu ni proizvod za AI pretraživanje.
Kako ga dopustiti
User-agent: CCBot
Allow: / Kako ga blokirati
User-agent: CCBot
Disallow: / Što radi
Common Crawl je neprofitna organizacija koja izrađuje i održava otvoren repozitorij podataka pretraživanja weba, besplatno dostupan svima. CCBot prikuplja te podatke. Common Crawl navodi da prije dohvaćanja stranice provjerava robots.txt, poštuje Crawl-delay i ne izvodi JavaScript.
Za blokiranje Common Crawl dokumentira grupu u robots.txt za token CCBot s Disallow: /. Ako ga želite samo usporiti, predlaže redak Crawl-delay u istoj grupi.
U našem istraživanju iz razdoblja 2026-11 blokiralo ga je 24.1% popularnih web-stranica s datotekom robots.txt. →
Token za robots.txt
CCBot
Niz user agenta
CCBot/2.0 (https://commoncrawl.org/faq/) Kako provjeriti stvarne posjete
Common Crawl pokreće CCBot na namjenskim IP rasponima s obrnutim DNS-om, pa možete provjeriti je li zabilježeni zahtjev došao od pravog CCBota. Objavljuje IPv4 i IPv6 raspone kao JSON i upozorava da se drugi crawleri lažno predstavljaju kao CCBot.