CCBot
CCBot হলো Common Crawl-এর ক্রলার, একটি অলাভজনক প্রতিষ্ঠান যা ওয়েব ক্রল ডেটার একটি ফ্রি, উন্মুক্ত ভান্ডার রক্ষণাবেক্ষণ করে। গবেষক ও AI ডেভেলপাররা আর্কাইভটি ব্যাপকভাবে ব্যবহার করেন, তাই CCBot ব্লক করা মূলত ট্রেনিং-সংক্রান্ত সিদ্ধান্ত। এটি সরাসরি কোনো সার্চ ইঞ্জিন বা AI সার্চ প্রোডাক্টকে প্রভাবিত করে না।
কীভাবে অনুমতি দেবেন
User-agent: CCBot
Allow: / কীভাবে ব্লক করবেন
User-agent: CCBot
Disallow: / এটি কী করে
Common Crawl একটি অলাভজনক প্রতিষ্ঠান, যা ওয়েব ক্রল ডেটার একটি উন্মুক্ত ভান্ডার তৈরি ও রক্ষণাবেক্ষণ করে, যা যে কেউ বিনা খরচে পেতে পারেন। CCBot সেই ডেটা সংগ্রহ করে। Common Crawl জানায়, এটি একটি পেজ আনার আগে robots.txt দেখে, Crawl-delay মানে এবং JavaScript চালায় না।
এটি ব্লক করতে Common Crawl CCBot টোকেনের জন্য Disallow: / সহ একটি robots.txt গ্রুপের কথা বলে। এর বদলে ধীর করতে একই গ্রুপে একটি Crawl-delay লাইনের পরামর্শ দেয়।
আমাদের 2026-11-এর গবেষণায় robots.txt থাকা জনপ্রিয় সাইটগুলোর 24.1% এটি ব্লক করেছে। →
robots.txt টোকেন
CCBot
ইউজার-এজেন্ট স্ট্রিং
CCBot/2.0 (https://commoncrawl.org/faq/) আসল ভিজিট কীভাবে যাচাই করবেন
Common Crawl reverse DNS-সহ নির্দিষ্ট IP রেঞ্জে CCBot চালায়, তাই লগে থাকা একটি অনুরোধ আসল CCBot থেকে এসেছে কি না আপনি দেখতে পারেন। এটি IPv4 ও IPv6 রেঞ্জ JSON হিসেবে প্রকাশ করে এবং সতর্ক করে যে অন্য ক্রলার মিথ্যাভাবে নিজেদের CCBot বলে পরিচয় দেয়।
আপনার সাইট এটিকে ঢুকতে দেয় কি না চেক করুন →
AI ক্রলারের জন্য robots.txt: কী অনুমতি দেবেন, কী ব্লক করবেন →