CCBot

Common Crawl · AI treenimine

CCBot on Common Crawli robot. Common Crawl on mittetulundusühing, mis haldab tasuta ja avatud veebiläbimise andmete hoidlat. Arhiivi kasutavad laialdaselt teadlased ja AI-arendajad, seega on CCBoti blokeerimine peamiselt treenimise otsus. See ei mõjuta otseselt ühtegi otsingumootorit ega AI-otsingu toodet.

Kuidas seda lubada

User-agent: CCBot
Allow: /

Kuidas seda blokeerida

User-agent: CCBot
Disallow: /

Mida see teeb

Common Crawl on mittetulundusühing, mis toodab ja haldab avatud veebiläbimise andmete hoidlat, mis on kõigile tasuta kättesaadav. CCBot kogub neid andmeid. Common Crawl ütleb, et see kontrollib enne lehe laadimist robots.txt-d, järgib Crawl-delay direktiivi ega käivita JavaScripti.

Selle blokeerimiseks kirjeldab Common Crawl CCBot tunnuse robots.txt gruppi reegliga Disallow: /. Aeglustamiseks soovitab see samasse gruppi Crawl-delay rida.

Meie uuringus (2026-11) blokeeris selle 24.1% populaarsetest saitidest, millel on robots.txt. →

robots.txt tunnus

CCBot

User agent'i string

CCBot/2.0 (https://commoncrawl.org/faq/)

Kuidas päris külastusi kinnitada

Common Crawl käitab CCBotit spetsiaalsetes IP-vahemikes koos pöörd-DNS-iga, nii et saad kontrollida, kas logitud päring tuli päris CCBotilt. See avaldab IPv4- ja IPv6-vahemikud JSON-ina ja hoiatab, et teised robotid esitlevad end valesti CCBotina.

Kontrolli, kas sinu sait laseb selle sisse →

robots.txt AI-robotitele: mida lubada, mida blokeerida →