CCBot

Common Crawl · AI பயிற்சி

CCBot என்பது Common Crawl-இன் கிராலர்; Common Crawl என்பது இணைய crawl தரவின் இலவச, திறந்த களஞ்சியத்தைப் பராமரிக்கும் ஓர் இலாப நோக்கற்ற அமைப்பு. இந்தக் காப்பகம் ஆய்வாளர்களாலும் AI உருவாக்குநர்களாலும் பரவலாகப் பயன்படுத்தப்படுகிறது, எனவே CCBot-ஐத் தடுப்பது முக்கியமாக ஒரு பயிற்சி முடிவு. இது எந்தத் தேடுபொறியையோ AI தேடல் தயாரிப்பையோ நேரடியாகப் பாதிக்காது.

இதை எப்படி அனுமதிப்பது

User-agent: CCBot
Allow: /

இதை எப்படித் தடுப்பது

User-agent: CCBot
Disallow: /

இது என்ன செய்கிறது

Common Crawl என்பது இணைய crawl தரவின் திறந்த களஞ்சியத்தை உருவாக்கிப் பராமரிக்கும் ஓர் இலாப நோக்கற்ற அமைப்பு; அது யாருக்கும் இலவசமாகக் கிடைக்கிறது. அந்தத் தரவை CCBot சேகரிக்கிறது. ஒரு பக்கத்தைப் பெறும் முன் robots.txt-ஐச் சரிபார்ப்பதாகவும், Crawl-delay-க்குக் கீழ்ப்படிவதாகவும், JavaScript-ஐ இயக்குவதில்லை என்றும் Common Crawl சொல்கிறது.

இதைத் தடுக்க, CCBot டோக்கனுக்கான Disallow: / கொண்ட robots.txt குழுவை Common Crawl ஆவணப்படுத்துகிறது. அதற்குப் பதிலாக வேகத்தைக் குறைக்க, அதே குழுவில் ஒரு Crawl-delay வரியைப் பரிந்துரைக்கிறது.

எங்கள் 2026-11 ஆய்வில், robots.txt உள்ள பிரபலத் தளங்களில் 24.1% இதைத் தடுத்தன. →

robots.txt டோக்கன்

CCBot

User-agent சரம்

CCBot/2.0 (https://commoncrawl.org/faq/)

உண்மையான வருகைகளை எப்படிச் சரிபார்ப்பது

Common Crawl, reverse DNS கொண்ட பிரத்யேக IP வரம்புகளில் CCBot-ஐ இயக்குகிறது, எனவே log-இல் பதிவான கோரிக்கை உண்மையான CCBot-இடமிருந்து வந்ததா என்று சரிபார்க்கலாம். அது IPv4, IPv6 வரம்புகளை JSON ஆக வெளியிடுகிறது; பிற கிராலர்கள் தங்களைப் பொய்யாக CCBot என்று அடையாளப்படுத்துகின்றன என்றும் எச்சரிக்கிறது.

உங்கள் தளம் இதை உள்ளே விடுகிறதா என்று சரிபாருங்கள் →

AI கிராலர்களுக்கான robots.txt: எதை அனுமதிப்பது, எதைத் தடுப்பது →