CCBot
CCBot yra Common Crawl, ne pelno organizacijos, palaikančios nemokamą, atvirą žiniatinklio nuskaitymo duomenų saugyklą, robotas. Archyvą plačiai naudoja tyrėjai ir DI kūrėjai, todėl CCBot blokavimas daugiausia yra sprendimas dėl mokymo. Jis tiesiogiai neturi įtakos jokiai paieškos sistemai ar DI paieškos produktui.
Kaip jį įleisti
User-agent: CCBot
Allow: / Kaip jį blokuoti
User-agent: CCBot
Disallow: / Ką jis daro
Common Crawl yra ne pelno organizacija, kurianti ir palaikanti atvirą žiniatinklio nuskaitymo duomenų saugyklą, nemokamai prieinamą visiems. Tuos duomenis renka CCBot. Common Crawl teigia, kad prieš atsisiųsdamas puslapį jis patikrina robots.txt, paiso Crawl-delay ir nevykdo JavaScript.
Blokavimui Common Crawl dokumentuoja robots.txt grupę žymeniui CCBot su Disallow: /. Norint jį tiesiog sulėtinti, ji siūlo Crawl-delay eilutę toje pačioje grupėje.
Mūsų 2026-11 tyrime jį blokavo 24.1% populiarių svetainių, turinčių robots.txt. →
robots.txt žymuo
CCBot
User-agent eilutė
CCBot/2.0 (https://commoncrawl.org/faq/) Kaip patvirtinti tikrus apsilankymus
Common Crawl CCBot paleidžia iš skirtų IP intervalų su atvirkštiniu DNS, todėl galite patikrinti, ar žurnale užfiksuota užklausa atėjo iš tikro CCBot. Ji skelbia IPv4 ir IPv6 intervalus JSON formatu ir įspėja, kad kiti robotai klaidingai prisistato kaip CCBot.