CCBot
CCBot என்பது Common Crawl-இன் கிராலர்; Common Crawl என்பது இணைய crawl தரவின் இலவச, திறந்த களஞ்சியத்தைப் பராமரிக்கும் ஓர் இலாப நோக்கற்ற அமைப்பு. இந்தக் காப்பகம் ஆய்வாளர்களாலும் AI உருவாக்குநர்களாலும் பரவலாகப் பயன்படுத்தப்படுகிறது, எனவே CCBot-ஐத் தடுப்பது முக்கியமாக ஒரு பயிற்சி முடிவு. இது எந்தத் தேடுபொறியையோ AI தேடல் தயாரிப்பையோ நேரடியாகப் பாதிக்காது.
இதை எப்படி அனுமதிப்பது
User-agent: CCBot
Allow: / இதை எப்படித் தடுப்பது
User-agent: CCBot
Disallow: / இது என்ன செய்கிறது
Common Crawl என்பது இணைய crawl தரவின் திறந்த களஞ்சியத்தை உருவாக்கிப் பராமரிக்கும் ஓர் இலாப நோக்கற்ற அமைப்பு; அது யாருக்கும் இலவசமாகக் கிடைக்கிறது. அந்தத் தரவை CCBot சேகரிக்கிறது. ஒரு பக்கத்தைப் பெறும் முன் robots.txt-ஐச் சரிபார்ப்பதாகவும், Crawl-delay-க்குக் கீழ்ப்படிவதாகவும், JavaScript-ஐ இயக்குவதில்லை என்றும் Common Crawl சொல்கிறது.
இதைத் தடுக்க, CCBot டோக்கனுக்கான Disallow: / கொண்ட robots.txt குழுவை Common Crawl ஆவணப்படுத்துகிறது. அதற்குப் பதிலாக வேகத்தைக் குறைக்க, அதே குழுவில் ஒரு Crawl-delay வரியைப் பரிந்துரைக்கிறது.
எங்கள் 2026-11 ஆய்வில், robots.txt உள்ள பிரபலத் தளங்களில் 24.1% இதைத் தடுத்தன. →
robots.txt டோக்கன்
CCBot
User-agent சரம்
CCBot/2.0 (https://commoncrawl.org/faq/) உண்மையான வருகைகளை எப்படிச் சரிபார்ப்பது
Common Crawl, reverse DNS கொண்ட பிரத்யேக IP வரம்புகளில் CCBot-ஐ இயக்குகிறது, எனவே log-இல் பதிவான கோரிக்கை உண்மையான CCBot-இடமிருந்து வந்ததா என்று சரிபார்க்கலாம். அது IPv4, IPv6 வரம்புகளை JSON ஆக வெளியிடுகிறது; பிற கிராலர்கள் தங்களைப் பொய்யாக CCBot என்று அடையாளப்படுத்துகின்றன என்றும் எச்சரிக்கிறது.
உங்கள் தளம் இதை உள்ளே விடுகிறதா என்று சரிபாருங்கள் →
AI கிராலர்களுக்கான robots.txt: எதை அனுமதிப்பது, எதைத் தடுப்பது →