CCBot
CCBot ni crawler ya Common Crawl, shirika lisilo la faida linalodumisha hifadhi huria ya bure ya data ya upitiaji wa wavuti. Hifadhi hiyo inatumiwa sana na watafiti na wasanidi wa AI, kwa hivyo kuzuia CCBot kimsingi ni uamuzi wa mafunzo. Haiathiri moja kwa moja injini yoyote ya utafutaji wala bidhaa ya utafutaji wa AI.
Jinsi ya kuiruhusu
User-agent: CCBot
Allow: / Jinsi ya kuizuia
User-agent: CCBot
Disallow: / Inafanya nini
Common Crawl ni shirika lisilo la faida linalozalisha na kudumisha hifadhi huria ya data ya upitiaji wa wavuti, inayopatikana kwa yeyote bila malipo. CCBot hukusanya data hiyo. Common Crawl inasema hukagua robots.txt kabla ya kupakua ukurasa, hutii Crawl-delay, na haiendeshi JavaScript.
Ili kuizuia, Common Crawl inaelezea kundi la robots.txt kwa tokeni ya CCBot lenye Disallow: /. Ili kupunguza kasi yake badala yake, inapendekeza mstari wa Crawl-delay kwenye kundi hilohilo.
Katika utafiti wetu wa 2026-11, 24.1% ya tovuti maarufu zenye robots.txt ziliizuia. →
Tokeni ya robots.txt
CCBot
Mfuatano wa user agent
CCBot/2.0 (https://commoncrawl.org/faq/) Jinsi ya kuthibitisha ziara halisi
Common Crawl inaendesha CCBot kwenye masafa maalum ya IP yenye reverse DNS, kwa hivyo unaweza kukagua kama ombi lililoandikwa kwenye logi lilitoka CCBot halisi. Inachapisha masafa ya IPv4 na IPv6 kama JSON na inaonya kwamba crawler nyingine hujitambulisha kwa uongo kama CCBot.
Kagua kama tovuti yako inairuhusu kuingia →
robots.txt kwa crawler za AI: nini cha kuruhusu, nini cha kuzuia →