CCBot

Common Crawl · تدريب الذكاء الاصطناعي

CCBot هو زاحف Common Crawl، وهي منظمة غير ربحية تحتفظ بأرشيف مفتوح ومجاني لبيانات الزحف إلى الويب. يستخدم الباحثون ومطورو الذكاء الاصطناعي هذا الأرشيف على نطاق واسع، لذا فحجب CCBot هو في الأساس قرار يتعلق بالتدريب. ولا يؤثر مباشرةً في أي محرك بحث أو منتج بحث بالذكاء الاصطناعي.

ما الذي يفعله

Common Crawl منظمة غير ربحية تنتج وتصون أرشيفًا مفتوحًا لبيانات الزحف إلى الويب، متاحًا للجميع دون مقابل. ويجمع CCBot هذه البيانات. وتقول Common Crawl إنه يتحقق من robots.txt قبل جلب أي صفحة، ويلتزم بـ Crawl-delay، ولا ينفّذ JavaScript.

لحجبه توثّق Common Crawl مجموعة في robots.txt للرمز CCBot مع Disallow: /. ولإبطائه بدلًا من ذلك تقترح سطر Crawl-delay في المجموعة نفسها.

في دراستنا لشهر 2026-11، حجبه 24.1% من المواقع الشائعة التي لديها ملف robots.txt. →

رمز robots.txt

CCBot

سلسلة وكيل المستخدم

CCBot/2.0 (https://commoncrawl.org/faq/)

كيف تسمح به

User-agent: CCBot
Allow: /

كيف تحجبه

User-agent: CCBot
Disallow: /

كيف تتحقق من الزيارات الحقيقية

تشغّل Common Crawl الزاحف CCBot على نطاقات IP مخصصة مع DNS عكسي، فيمكنك التحقق مما إذا كان طلب مسجَّل قد جاء من CCBot الحقيقي. وتنشر نطاقات IPv4 وIPv6 بصيغة JSON وتحذّر من أن زواحف أخرى تنتحل زورًا اسم CCBot.

افحص هل يسمح موقعك بدخوله →

robots.txt لزواحف الذكاء الاصطناعي: ما الذي تسمح به وما الذي تحظره →