CCBot
CCBot je crawler Common Crawl, neziskovej organizácie, ktorá spravuje bezplatné otvorené úložisko dát z prechádzania webu. Archív hojne využívajú výskumníci a vývojári AI, takže blokovanie CCBot je hlavne rozhodnutím o trénovaní. Priamo neovplyvňuje žiadny vyhľadávač ani produkt AI vyhľadávania.
Ako ho povoliť
User-agent: CCBot
Allow: / Ako ho zablokovať
User-agent: CCBot
Disallow: / Čo robí
Common Crawl je nezisková organizácia, ktorá vytvára a spravuje otvorené úložisko dát z prechádzania webu, dostupné každému bezplatne. Tieto dáta zbiera CCBot. Common Crawl uvádza, že pred stiahnutím stránky kontroluje robots.txt, dodržiava Crawl-delay a nespúšťa JavaScript.
Na jeho zablokovanie Common Crawl dokumentuje skupinu robots.txt pre token CCBot s Disallow: /. Ak ho chcete namiesto toho spomaliť, odporúča riadok Crawl-delay v tej istej skupine.
V našej štúdii z obdobia 2026-11 ho zablokovalo 24.1% populárnych webov s robots.txt. →
Token robots.txt
CCBot
Reťazec user agenta
CCBot/2.0 (https://commoncrawl.org/faq/) Ako overiť skutočné návštevy
Common Crawl prevádzkuje CCBot na vyhradených rozsahoch IP s reverzným DNS, takže môžete overiť, či zaznamenaná požiadavka prišla od skutočného CCBot. Rozsahy IPv4 a IPv6 zverejňuje ako JSON a upozorňuje, že iné crawlery sa falošne vydávajú za CCBot.