CCBot

Common Crawl · DI mokymas

CCBot yra Common Crawl, ne pelno organizacijos, palaikančios nemokamą, atvirą žiniatinklio nuskaitymo duomenų saugyklą, robotas. Archyvą plačiai naudoja tyrėjai ir DI kūrėjai, todėl CCBot blokavimas daugiausia yra sprendimas dėl mokymo. Jis tiesiogiai neturi įtakos jokiai paieškos sistemai ar DI paieškos produktui.

Kaip jį įleisti

User-agent: CCBot
Allow: /

Kaip jį blokuoti

User-agent: CCBot
Disallow: /

Ką jis daro

Common Crawl yra ne pelno organizacija, kurianti ir palaikanti atvirą žiniatinklio nuskaitymo duomenų saugyklą, nemokamai prieinamą visiems. Tuos duomenis renka CCBot. Common Crawl teigia, kad prieš atsisiųsdamas puslapį jis patikrina robots.txt, paiso Crawl-delay ir nevykdo JavaScript.

Blokavimui Common Crawl dokumentuoja robots.txt grupę žymeniui CCBot su Disallow: /. Norint jį tiesiog sulėtinti, ji siūlo Crawl-delay eilutę toje pačioje grupėje.

Mūsų 2026-11 tyrime jį blokavo 24.1% populiarių svetainių, turinčių robots.txt. →

robots.txt žymuo

CCBot

User-agent eilutė

CCBot/2.0 (https://commoncrawl.org/faq/)

Kaip patvirtinti tikrus apsilankymus

Common Crawl CCBot paleidžia iš skirtų IP intervalų su atvirkštiniu DNS, todėl galite patikrinti, ar žurnale užfiksuota užklausa atėjo iš tikro CCBot. Ji skelbia IPv4 ir IPv6 intervalus JSON formatu ir įspėja, kad kiti robotai klaidingai prisistato kaip CCBot.

Patikrinkite, ar jūsų svetainė jį įleidžia →

robots.txt DI robotams: ką leisti, ką blokuoti →