CCBot

Common Crawl · Učenje UI

CCBot je pajek Common Crawl, neprofitne organizacije, ki vzdržuje brezplačno, odprto zbirko podatkov iz pregledovanja spleta. Arhiv pogosto uporabljajo raziskovalci in razvijalci UI, zato je blokiranje CCBot predvsem odločitev o učenju. Neposredno ne vpliva na noben iskalnik ali izdelek za iskanje z UI.

Kako ga dovoliti

User-agent: CCBot
Allow: /

Kako ga blokirati

User-agent: CCBot
Disallow: /

Kaj počne

Common Crawl je neprofitna organizacija, ki ustvarja in vzdržuje odprto zbirko podatkov iz pregledovanja spleta, brezplačno dostopno vsakomur. CCBot te podatke zbira. Common Crawl navaja, da pred prenosom strani preveri robots.txt, upošteva Crawl-delay in ne izvaja JavaScripta.

Za blokiranje Common Crawl dokumentira skupino v robots.txt za oznako CCBot z Disallow: /. Če ga želite le upočasniti, predlaga vrstico Crawl-delay v isti skupini.

V naši raziskavi iz obdobja 2026-11 ga je blokiralo 24.1% priljubljenih spletnih mest z datoteko robots.txt. →

Oznaka v robots.txt

CCBot

Niz user agent

CCBot/2.0 (https://commoncrawl.org/faq/)

Kako preveriti prave obiske

Common Crawl izvaja CCBot na namenskih obsegih IP z obratnim DNS, zato lahko preverite, ali je zabeležena zahteva prišla od pravega CCBot. Obsege IPv4 in IPv6 objavlja kot JSON in opozarja, da se drugi pajki lažno predstavljajo kot CCBot.

Preverite, ali ga vaše spletno mesto spusti →

robots.txt za pajke UI: kaj dovoliti in kaj blokirati →