CCBot

Common Crawl · Treniranje AI-ja

CCBot je crawler organizacije Common Crawl, neprofitne organizacije koja održava besplatan, otvoren repozitorij podataka pretraživanja weba. Arhivu široko koriste istraživači i razvojni programeri AI-ja, pa je blokiranje CCBota uglavnom odluka o treniranju. Ne utječe izravno ni na jednu tražilicu ni proizvod za AI pretraživanje.

Kako ga dopustiti

User-agent: CCBot
Allow: /

Kako ga blokirati

User-agent: CCBot
Disallow: /

Što radi

Common Crawl je neprofitna organizacija koja izrađuje i održava otvoren repozitorij podataka pretraživanja weba, besplatno dostupan svima. CCBot prikuplja te podatke. Common Crawl navodi da prije dohvaćanja stranice provjerava robots.txt, poštuje Crawl-delay i ne izvodi JavaScript.

Za blokiranje Common Crawl dokumentira grupu u robots.txt za token CCBot s Disallow: /. Ako ga želite samo usporiti, predlaže redak Crawl-delay u istoj grupi.

U našem istraživanju iz razdoblja 2026-11 blokiralo ga je 24.1% popularnih web-stranica s datotekom robots.txt. →

Token za robots.txt

CCBot

Niz user agenta

CCBot/2.0 (https://commoncrawl.org/faq/)

Kako provjeriti stvarne posjete

Common Crawl pokreće CCBot na namjenskim IP rasponima s obrnutim DNS-om, pa možete provjeriti je li zabilježeni zahtjev došao od pravog CCBota. Objavljuje IPv4 i IPv6 raspone kao JSON i upozorava da se drugi crawleri lažno predstavljaju kao CCBot.

Provjerite propušta li ga vaša web-stranica →

robots.txt za AI crawlere: što dopustiti, a što blokirati →