CCBot

Common Crawl · AI ট্রেনিং

CCBot হলো Common Crawl-এর ক্রলার, একটি অলাভজনক প্রতিষ্ঠান যা ওয়েব ক্রল ডেটার একটি ফ্রি, উন্মুক্ত ভান্ডার রক্ষণাবেক্ষণ করে। গবেষক ও AI ডেভেলপাররা আর্কাইভটি ব্যাপকভাবে ব্যবহার করেন, তাই CCBot ব্লক করা মূলত ট্রেনিং-সংক্রান্ত সিদ্ধান্ত। এটি সরাসরি কোনো সার্চ ইঞ্জিন বা AI সার্চ প্রোডাক্টকে প্রভাবিত করে না।

কীভাবে অনুমতি দেবেন

User-agent: CCBot
Allow: /

কীভাবে ব্লক করবেন

User-agent: CCBot
Disallow: /

এটি কী করে

Common Crawl একটি অলাভজনক প্রতিষ্ঠান, যা ওয়েব ক্রল ডেটার একটি উন্মুক্ত ভান্ডার তৈরি ও রক্ষণাবেক্ষণ করে, যা যে কেউ বিনা খরচে পেতে পারেন। CCBot সেই ডেটা সংগ্রহ করে। Common Crawl জানায়, এটি একটি পেজ আনার আগে robots.txt দেখে, Crawl-delay মানে এবং JavaScript চালায় না।

এটি ব্লক করতে Common Crawl CCBot টোকেনের জন্য Disallow: / সহ একটি robots.txt গ্রুপের কথা বলে। এর বদলে ধীর করতে একই গ্রুপে একটি Crawl-delay লাইনের পরামর্শ দেয়।

আমাদের 2026-11-এর গবেষণায় robots.txt থাকা জনপ্রিয় সাইটগুলোর 24.1% এটি ব্লক করেছে। →

robots.txt টোকেন

CCBot

ইউজার-এজেন্ট স্ট্রিং

CCBot/2.0 (https://commoncrawl.org/faq/)

আসল ভিজিট কীভাবে যাচাই করবেন

Common Crawl reverse DNS-সহ নির্দিষ্ট IP রেঞ্জে CCBot চালায়, তাই লগে থাকা একটি অনুরোধ আসল CCBot থেকে এসেছে কি না আপনি দেখতে পারেন। এটি IPv4 ও IPv6 রেঞ্জ JSON হিসেবে প্রকাশ করে এবং সতর্ক করে যে অন্য ক্রলার মিথ্যাভাবে নিজেদের CCBot বলে পরিচয় দেয়।

আপনার সাইট এটিকে ঢুকতে দেয় কি না চেক করুন →

AI ক্রলারের জন্য robots.txt: কী অনুমতি দেবেন, কী ব্লক করবেন →