CCBot
CCBot је краулер Common Crawl-а, непрофитне организације која одржава бесплатно, отворено складиште података пописивања веба. Архиву широко користе истраживачи и AI програмери, па је блокирање CCBot-а углавном одлука о обуци. Не утиче директно ни на један претраживач ни AI производ за претрагу.
Како да га дозволите
User-agent: CCBot
Allow: / Како да га блокирате
User-agent: CCBot
Disallow: / Шта ради
Common Crawl је непрофитна организација која прави и одржава отворено складиште података пописивања веба, доступно свима бесплатно. CCBot прикупља те податке. Common Crawl каже да проверава robots.txt пре преузимања странице, поштује Crawl-delay и не извршава JavaScript.
За блокирање Common Crawl документује групу у robots.txt за токен CCBot са Disallow: /. Ако желите да га уместо тога успорите, предлаже ред Crawl-delay у истој групи.
У нашој студији из 2026-11 блокирало га је 24.1% популарних сајтова са robots.txt. →
robots.txt токен
CCBot
User-agent стринг
CCBot/2.0 (https://commoncrawl.org/faq/) Како да проверите праве посете
Common Crawl покреће CCBot на наменским IP опсезима са обрнутим DNS-ом, па можете да проверите да ли је забележени захтев стигао од правог CCBot-а. Објављује IPv4 и IPv6 опсеге као JSON и упозорава да се други краулери лажно представљају као CCBot.