CCBot

Common Crawl · AI ٹریننگ

CCBot، Common Crawl کا کرالر ہے، جو ایک غیر منافع بخش ادارہ ہے اور ویب کرال ڈیٹا کا مفت، کھلا ذخیرہ برقرار رکھتا ہے۔ یہ آرکائیو محققین اور AI ڈویلپرز بڑے پیمانے پر استعمال کرتے ہیں، اس لیے CCBot کو بلاک کرنا بنیادی طور پر ٹریننگ کا فیصلہ ہے۔ یہ کسی سرچ انجن یا AI سرچ پروڈکٹ پر براہ راست اثر نہیں ڈالتا۔

اسے اجازت کیسے دیں

User-agent: CCBot
Allow: /

اسے بلاک کیسے کریں

User-agent: CCBot
Disallow: /

یہ کیا کرتا ہے

Common Crawl ایک غیر منافع بخش ادارہ ہے جو ویب کرال ڈیٹا کا ایک کھلا ذخیرہ بناتا اور برقرار رکھتا ہے، جو ہر کسی کے لیے مفت دستیاب ہے۔ CCBot یہ ڈیٹا جمع کرتا ہے۔ Common Crawl کہتا ہے کہ یہ صفحہ منگوانے سے پہلے robots.txt دیکھتا ہے، Crawl-delay کی پابندی کرتا ہے، اور JavaScript نہیں چلاتا۔

اسے بلاک کرنے کے لیے Common Crawl، CCBot ٹوکن کے لیے Disallow: / والا robots.txt گروپ بتاتا ہے۔ اس کی بجائے اسے سست کرنے کے لیے یہ اسی گروپ میں Crawl-delay لائن تجویز کرتا ہے۔

ہماری 2026-11 کی تحقیق میں robots.txt والی مقبول سائٹس میں سے 24.1% نے اسے بلاک کیا۔ ←

robots.txt ٹوکن

CCBot

یوزر ایجنٹ string

CCBot/2.0 (https://commoncrawl.org/faq/)

حقیقی وزٹس کی تصدیق کیسے کریں

Common Crawl، CCBot کو reverse DNS کے ساتھ مخصوص IP رینجز پر چلاتا ہے، اس لیے آپ جانچ سکتے ہیں کہ لاگ میں درج درخواست اصل CCBot سے آئی یا نہیں۔ یہ IPv4 اور IPv6 رینجز JSON کے طور پر شائع کرتا ہے اور خبردار کرتا ہے کہ دوسرے کرالرز جھوٹے طور پر خود کو CCBot ظاہر کرتے ہیں۔

دیکھیں کہ آپ کی سائٹ اسے آنے دیتی ہے یا نہیں ←

AI کرالرز کے لیے robots.txt: کسے اجازت دیں، کسے بلاک کریں ←