CCBot

Common Crawl · Обука AI модела

CCBot је краулер Common Crawl-а, непрофитне организације која одржава бесплатно, отворено складиште података пописивања веба. Архиву широко користе истраживачи и AI програмери, па је блокирање CCBot-а углавном одлука о обуци. Не утиче директно ни на један претраживач ни AI производ за претрагу.

Како да га дозволите

User-agent: CCBot
Allow: /

Како да га блокирате

User-agent: CCBot
Disallow: /

Шта ради

Common Crawl је непрофитна организација која прави и одржава отворено складиште података пописивања веба, доступно свима бесплатно. CCBot прикупља те податке. Common Crawl каже да проверава robots.txt пре преузимања странице, поштује Crawl-delay и не извршава JavaScript.

За блокирање Common Crawl документује групу у robots.txt за токен CCBot са Disallow: /. Ако желите да га уместо тога успорите, предлаже ред Crawl-delay у истој групи.

У нашој студији из 2026-11 блокирало га је 24.1% популарних сајтова са robots.txt. →

robots.txt токен

CCBot

User-agent стринг

CCBot/2.0 (https://commoncrawl.org/faq/)

Како да проверите праве посете

Common Crawl покреће CCBot на наменским IP опсезима са обрнутим DNS-ом, па можете да проверите да ли је забележени захтев стигао од правог CCBot-а. Објављује IPv4 и IPv6 опсеге као JSON и упозорава да се други краулери лажно представљају као CCBot.

Проверите да ли га ваш сајт пушта →

robots.txt за AI краулере: шта дозволити, а шта блокирати →