CCBot

Common Crawl · Trénovanie AI

CCBot je crawler Common Crawl, neziskovej organizácie, ktorá spravuje bezplatné otvorené úložisko dát z prechádzania webu. Archív hojne využívajú výskumníci a vývojári AI, takže blokovanie CCBot je hlavne rozhodnutím o trénovaní. Priamo neovplyvňuje žiadny vyhľadávač ani produkt AI vyhľadávania.

Ako ho povoliť

User-agent: CCBot
Allow: /

Ako ho zablokovať

User-agent: CCBot
Disallow: /

Čo robí

Common Crawl je nezisková organizácia, ktorá vytvára a spravuje otvorené úložisko dát z prechádzania webu, dostupné každému bezplatne. Tieto dáta zbiera CCBot. Common Crawl uvádza, že pred stiahnutím stránky kontroluje robots.txt, dodržiava Crawl-delay a nespúšťa JavaScript.

Na jeho zablokovanie Common Crawl dokumentuje skupinu robots.txt pre token CCBot s Disallow: /. Ak ho chcete namiesto toho spomaliť, odporúča riadok Crawl-delay v tej istej skupine.

V našej štúdii z obdobia 2026-11 ho zablokovalo 24.1% populárnych webov s robots.txt. →

Token robots.txt

CCBot

Reťazec user agenta

CCBot/2.0 (https://commoncrawl.org/faq/)

Ako overiť skutočné návštevy

Common Crawl prevádzkuje CCBot na vyhradených rozsahoch IP s reverzným DNS, takže môžete overiť, či zaznamenaná požiadavka prišla od skutočného CCBot. Rozsahy IPv4 a IPv6 zverejňuje ako JSON a upozorňuje, že iné crawlery sa falošne vydávajú za CCBot.

Skontrolujte, či ho váš web pustí →

robots.txt pre AI crawlery: čo povoliť a čo blokovať →