CCBot
CCBot to crawler Common Crawl, organizacji non-profit prowadzącej bezpłatne, otwarte repozytorium danych z crawlowania sieci. Archiwum jest szeroko używane przez badaczy i twórców AI, więc zablokowanie CCBota to przede wszystkim decyzja dotycząca trenowania. Nie wpływa bezpośrednio na żadną wyszukiwarkę ani produkt wyszukiwania AI.
Co robi
Common Crawl to organizacja non-profit, która tworzy i prowadzi otwarte repozytorium danych z crawlowania sieci, dostępne dla każdego bezpłatnie. CCBot zbiera te dane. Common Crawl podaje, że sprawdza robots.txt przed pobraniem strony, przestrzega Crawl-delay i nie wykonuje JavaScriptu.
Aby go zablokować, Common Crawl opisuje grupę robots.txt dla tokenu CCBot z Disallow: /. Aby go zamiast tego spowolnić, proponuje linię Crawl-delay w tej samej grupie.
W naszym badaniu z 2026-11 zablokowało go 24.1% popularnych stron z plikiem robots.txt. →
Token robots.txt
CCBot
Ciąg user agent
CCBot/2.0 (https://commoncrawl.org/faq/)Jak go dopuścić
User-agent: CCBot
Allow: /Jak go zablokować
User-agent: CCBot
Disallow: /Jak zweryfikować prawdziwe wizyty
Common Crawl uruchamia CCBota na dedykowanych zakresach IP z odwrotnym DNS, więc możesz sprawdzić, czy zapisane w logach żądanie pochodziło od prawdziwego CCBota. Publikuje zakresy IPv4 i IPv6 jako JSON i ostrzega, że inne crawlery fałszywie podszywają się pod CCBota.