CCBot

Common Crawl · AI training

Ang CCBot ang crawler ng Common Crawl, isang non-profit na nagpapanatili ng libre at bukas na repository ng web crawl data. Malawakang ginagamit ng mga mananaliksik at AI developer ang archive, kaya pangunahing desisyon sa training ang pag-block sa CCBot. Hindi nito direktang naaapektuhan ang anumang search engine o AI search na produkto.

Paano ito papayagan

User-agent: CCBot
Allow: /

Paano ito iba-block

User-agent: CCBot
Disallow: /

Ano ang ginagawa nito

Ang Common Crawl ay non-profit na gumagawa at nagpapanatili ng bukas na repository ng web crawl data, na makukuha ng sinuman nang walang bayad. Ang CCBot ang nangongolekta ng data na iyon. Sinasabi ng Common Crawl na tinitingnan nito ang robots.txt bago kumuha ng pahina, sinusunod ang Crawl-delay, at hindi nagpapatakbo ng JavaScript.

Para i-block ito, idinodokumento ng Common Crawl ang robots.txt group para sa token na CCBot na may Disallow: /. Para pabagalin ito sa halip, iminumungkahi nito ang linyang Crawl-delay sa parehong group.

Sa pag-aaral namin noong 2026-11, 24.1% ng mga sikat na site na may robots.txt ang nag-block dito. →

Token sa robots.txt

CCBot

User-agent string

CCBot/2.0 (https://commoncrawl.org/faq/)

Paano beripikahin ang totoong pagbisita

Pinapatakbo ng Common Crawl ang CCBot sa mga nakalaang IP range na may reverse DNS, kaya matitingnan mo kung galing sa totoong CCBot ang request na nasa log. Inilalathala nito bilang JSON ang mga IPv4 at IPv6 range at nagbababala na may ibang crawler na nagpapanggap na CCBot.

Tingnan kung pinapapasok ito ng site mo →

robots.txt para sa mga AI crawler: ano ang papayagan, ano ang iba-block →