CCBot
CCBot je crawler neziskové organizace Common Crawl, která spravuje bezplatný otevřený archiv dat z procházení webu. Archiv hojně využívají výzkumníci i vývojáři AI, takže zablokování CCBot je především rozhodnutí o trénování. Přímo neovlivňuje žádný vyhledávač ani produkt AI vyhledávání.
Co dělá
Common Crawl je nezisková organizace, která vytváří a spravuje otevřený archiv dat z procházení webu, dostupný komukoli zdarma. CCBot tato data shromažďuje. Common Crawl uvádí, že před stažením stránky kontroluje robots.txt, dodržuje Crawl-delay a nespouští JavaScript.
K zablokování Common Crawl dokumentuje skupinu v robots.txt pro token CCBot s direktivou Disallow: /. Chcete-li ho místo toho zpomalit, doporučuje do téže skupiny přidat řádek Crawl-delay.
V naší studii z období 2026-11 ho zablokovalo 24.1% oblíbených webů s robots.txt. →
Token pro robots.txt
CCBot
Řetězec user agenta
CCBot/2.0 (https://commoncrawl.org/faq/)Jak ho povolit
User-agent: CCBot
Allow: /Jak ho zablokovat
User-agent: CCBot
Disallow: /Jak ověřit skutečné návštěvy
Common Crawl provozuje CCBot na vyhrazených rozsazích IP se zpětným DNS, takže můžete zjistit, zda zaznamenaný požadavek pochází od skutečného CCBot. Rozsahy IPv4 a IPv6 zveřejňuje jako JSON a varuje, že se za CCBot falešně vydávají jiné crawlery.