CCBot
Ang CCBot ang crawler ng Common Crawl, isang non-profit na nagpapanatili ng libre at bukas na repository ng web crawl data. Malawakang ginagamit ng mga mananaliksik at AI developer ang archive, kaya pangunahing desisyon sa training ang pag-block sa CCBot. Hindi nito direktang naaapektuhan ang anumang search engine o AI search na produkto.
Paano ito papayagan
User-agent: CCBot
Allow: / Paano ito iba-block
User-agent: CCBot
Disallow: / Ano ang ginagawa nito
Ang Common Crawl ay non-profit na gumagawa at nagpapanatili ng bukas na repository ng web crawl data, na makukuha ng sinuman nang walang bayad. Ang CCBot ang nangongolekta ng data na iyon. Sinasabi ng Common Crawl na tinitingnan nito ang robots.txt bago kumuha ng pahina, sinusunod ang Crawl-delay, at hindi nagpapatakbo ng JavaScript.
Para i-block ito, idinodokumento ng Common Crawl ang robots.txt group para sa token na CCBot na may Disallow: /. Para pabagalin ito sa halip, iminumungkahi nito ang linyang Crawl-delay sa parehong group.
Sa pag-aaral namin noong 2026-11, 24.1% ng mga sikat na site na may robots.txt ang nag-block dito. →
Token sa robots.txt
CCBot
User-agent string
CCBot/2.0 (https://commoncrawl.org/faq/) Paano beripikahin ang totoong pagbisita
Pinapatakbo ng Common Crawl ang CCBot sa mga nakalaang IP range na may reverse DNS, kaya matitingnan mo kung galing sa totoong CCBot ang request na nasa log. Inilalathala nito bilang JSON ang mga IPv4 at IPv6 range at nagbababala na may ibang crawler na nagpapanggap na CCBot.
Tingnan kung pinapapasok ito ng site mo →
robots.txt para sa mga AI crawler: ano ang papayagan, ano ang iba-block →