CCBot
CCBot on Common Crawli robot. Common Crawl on mittetulundusühing, mis haldab tasuta ja avatud veebiläbimise andmete hoidlat. Arhiivi kasutavad laialdaselt teadlased ja AI-arendajad, seega on CCBoti blokeerimine peamiselt treenimise otsus. See ei mõjuta otseselt ühtegi otsingumootorit ega AI-otsingu toodet.
Kuidas seda lubada
User-agent: CCBot
Allow: / Kuidas seda blokeerida
User-agent: CCBot
Disallow: / Mida see teeb
Common Crawl on mittetulundusühing, mis toodab ja haldab avatud veebiläbimise andmete hoidlat, mis on kõigile tasuta kättesaadav. CCBot kogub neid andmeid. Common Crawl ütleb, et see kontrollib enne lehe laadimist robots.txt-d, järgib Crawl-delay direktiivi ega käivita JavaScripti.
Selle blokeerimiseks kirjeldab Common Crawl CCBot tunnuse robots.txt gruppi reegliga Disallow: /. Aeglustamiseks soovitab see samasse gruppi Crawl-delay rida.
Meie uuringus (2026-11) blokeeris selle 24.1% populaarsetest saitidest, millel on robots.txt. →
robots.txt tunnus
CCBot
User agent'i string
CCBot/2.0 (https://commoncrawl.org/faq/) Kuidas päris külastusi kinnitada
Common Crawl käitab CCBotit spetsiaalsetes IP-vahemikes koos pöörd-DNS-iga, nii et saad kontrollida, kas logitud päring tuli päris CCBotilt. See avaldab IPv4- ja IPv6-vahemikud JSON-ina ja hoiatab, et teised robotid esitlevad end valesti CCBotina.