CCBot
CCBot అనేది వెబ్ క్రాల్ డేటా ఉచిత, ఓపెన్ రిపాజిటరీని నిర్వహించే లాభాపేక్ష లేని సంస్థ Common Crawl క్రాలర్. ఈ ఆర్కైవ్ను పరిశోధకులు, AI డెవలపర్లు విస్తృతంగా ఉపయోగిస్తారు, కాబట్టి CCBotను బ్లాక్ చేయడం ప్రధానంగా ట్రైనింగ్కు సంబంధించిన నిర్ణయం. ఇది ఏ సెర్చ్ ఇంజిన్నూ, AI సెర్చ్ ప్రోడక్ట్నూ నేరుగా ప్రభావితం చేయదు.
దీన్ని ఎలా అనుమతించాలి
User-agent: CCBot
Allow: / దీన్ని ఎలా బ్లాక్ చేయాలి
User-agent: CCBot
Disallow: / ఇది ఏమి చేస్తుంది
Common Crawl అనేది ఎవరికైనా ఉచితంగా అందుబాటులో ఉండే వెబ్ క్రాల్ డేటా ఓపెన్ రిపాజిటరీని తయారు చేసి నిర్వహించే లాభాపేక్ష లేని సంస్థ. CCBot ఆ డేటాను సేకరిస్తుంది. పేజీని తెచ్చుకునే ముందు robots.txtను తనిఖీ చేస్తుందని, Crawl-delayను పాటిస్తుందని, JavaScriptను నడపదని Common Crawl చెబుతుంది.
దాన్ని బ్లాక్ చేయడానికి, Common Crawl CCBot టోకెన్ కోసం Disallow: / ఉన్న robots.txt గ్రూప్ను డాక్యుమెంట్ చేస్తుంది. బదులుగా నెమ్మదింపజేయడానికి, అదే గ్రూప్లో Crawl-delay లైన్ను సూచిస్తుంది.
మా 2026-11 అధ్యయనంలో, robots.txt ఉన్న ప్రముఖ సైట్లలో 24.1% దీన్ని బ్లాక్ చేశాయి. →
robots.txt టోకెన్
CCBot
యూజర్ ఏజెంట్ స్ట్రింగ్
CCBot/2.0 (https://commoncrawl.org/faq/) నిజమైన సందర్శనలను ఎలా ధృవీకరించాలి
Common Crawl CCBotను reverse DNS ఉన్న ప్రత్యేక IP పరిధులపై నడుపుతుంది, కాబట్టి లాగ్లోని అభ్యర్థన నిజమైన CCBot నుంచి వచ్చిందో తనిఖీ చేయవచ్చు. ఇది IPv4, IPv6 పరిధులను JSONగా ప్రచురిస్తుంది, ఇతర క్రాలర్లు తమను తప్పుగా CCBotగా చెప్పుకుంటాయని హెచ్చరిస్తుంది.
మీ సైట్ దీన్ని అనుమతిస్తోందో తనిఖీ చేయండి →
AI క్రాలర్ల కోసం robots.txt: ఏది అనుమతించాలి, ఏది బ్లాక్ చేయాలి →