قرأنا robots.txt لأشهر 10,000 موقع. هذا ما تفعله مع زواحف الذكاء الاصطناعي
من بين 6,192 نطاقًا في قائمة Tranco لأشهر 10,000 نطاق تقدّم ملف robots.txt، يحظر 23.2% منها زاحف تدريب واحدًا على الأقل للذكاء الاصطناعي، ويحظر 12.3% زاحف بحث أو مستخدم واحدًا على الأقل. ومن المواقع التي تحظر التدريب، تحظر 51.6% أيضًا البحث بالذكاء الاصطناعي. و11.2% فقط تمتنع عن التدريب مع السماح بكل زواحف البحث بالذكاء الاصطناعي.
في نوفمبر قرأنا ملف robots.txt لأشهر 1,000 نطاق. هذه المرة قرأنا 10,000 نطاق بالطريقة نفسها، وأضفنا فحصًا لكيفية تغيّر الصورة كلما صغرت المواقع. النتيجة الرئيسية ثابتة: يُعامَل حظر التدريب وحظر البحث كقرار واحد، مع أنهما قراران مختلفان.
في هذه الصفحة
كيف أجرينا القياس؟
أخذنا أعلى 10,000 نطاق من قائمة Tranco (معرّف القائمة JZWZY)، وجلبنا الصفحة الرئيسية وملفي robots.txt وllms.txt لكل نطاق مرة واحدة في 21 نوفمبر 2026 باستخدام وكيل المستخدم الخاص بـ AISeeWhy. وقيّمنا كل ملف robots.txt وفق RFC 9309 للصفحة الرئيسية (/) ولـ 16 زاحفًا من زواحف الذكاء الاصطناعي والبحث.
قدّم 6,192 نطاقًا من أصل 10,000 ملف robots.txt (استجابة ناجحة وليست صفحة HTML). وردّ 1,121 نطاقًا برمز 4xx، أي لا قواعد وكل الزواحف مسموح لها، ولم يقدّم 2,687 نطاقًا ملفًا (لا موقع HTTPS، أو أخطاء، أو انتهاء المهلة، أو صفحة HTML بدلًا منه). كل النسب أدناه محسوبة من 6,192. تتضمن القائمة شبكات CDN وواجهات API لا تخدم موقعًا إلكترونيًا.
ماذا وجدنا؟
- 23.2% (1,437 نطاقًا) تحظر زاحف تدريب واحدًا على الأقل للذكاء الاصطناعي.
- 12.3% (762) تحظر زاحف بحث أو مستخدم واحدًا على الأقل للذكاء الاصطناعي، أي أن صفحاتها يجب ألا تُستخدم أو تُذكر في الإجابات التي تعتمد عليه.
- 51.6% من النطاقات التي تحظر زاحف تدريب (742 من 1,437) تحظر أيضًا زاحف بحث أو مستخدم واحدًا على الأقل للذكاء الاصطناعي.
- 11.2% فقط (695) تتبع المسار الانتقائي: تحظر زواحف التدريب وتسمح بكل زواحف البحث والمستخدم للذكاء الاصطناعي.
- 6.5% (401) تعلن تفضيلاتها بشأن الذكاء الاصطناعي عبر
Content-Signal. - 12.4% من كل النطاقات الـ 10,000 (1,240) تنشر ملف
llms.txt. - للمقارنة، 2.0% (124) تحظر
Googlebotعلى الصفحة الرئيسية.
ما أكثر الزواحف حظرًا؟
نسبة النطاقات من الـ 6,192 التي يمنع ملف robots.txt فيها الزاحف من الصفحة الرئيسية:
Bytespider18.7%، وCCBot18.5%، وGPTBot17.4%، وClaudeBot16.5%.Meta-ExternalAgent15.5%، وGoogle-Extended14.9%، وApplebot-Extended14.6%.PerplexityBotبنسبة 10.4% هو أكثر زواحف البحث بالذكاء الاصطناعي حظرًا، يليهOAI-SearchBot7.0% وClaude-SearchBot7.0%.- الزواحف التي تفتح صفحة عندما يسأل شخص:
ChatGPT-User8.9%، وPerplexity-User7.7%، وClaude-User7.4%.
هل تحظر المواقع الكبرى أكثر؟
نعم، وتخلط أكثر بين التدريب والبحث. قسّمنا القائمة حسب الترتيب:
- المراتب من 1 إلى 1,000 (560 نطاقًا لديها robots.txt): 28.6% تحظر التدريب، و18.6% تحظر البحث بالذكاء الاصطناعي، و63.1% من الحاظرين للتدريب يحظرون البحث أيضًا.
- المراتب من 1,001 إلى 3,000 (1,256 نطاقًا): 23.5% و13.5% و55.6%.
- المراتب من 3,001 إلى 10,000 (4,376 نطاقًا): 22.4% و11.2% و48.6%.
المسار الانتقائي نادر في كل الأحجام: 10.5% و10.4% و11.5% من النطاقات في المجموعات الثلاث.
هل تغيّر شيء منذ تقريرنا في 12 نوفمبر؟
أعدنا فحص أول 1,000 نطاق بالقائمة نفسها. النتيجة مستقرة في حدود نقطة تقريبًا: 28.6% تحظر التدريب (29.9% في 12 نوفمبر)، و18.6% تحظر البحث بالذكاء الاصطناعي (19.5%)، و63.1% من الحاظرين للتدريب يحظرون البحث أيضًا (63.2%). تختلف المقامات قليلًا (560 نطاقًا لديها robots.txt الآن مقابل 518 حينها) لأن هذه الجولة تتبع إعادة توجيه النطاق إلى مضيفه الرئيسي قبل الجلب.
ماذا يعني ذلك لملف robots.txt الخاص بك؟
توثّق معظم شركات الذكاء الاصطناعي زواحف منفصلة للتدريب وللبحث، وتقول إن إعداداتها مستقلة. منع GPTBot لا يمس OAI-SearchBot، ومنع ClaudeBot لا يمس Claude-SearchBot. إذا أردت الامتناع عن التدريب مع بقاء موقعك قابلًا للذكر، فاحظر رموز التدريب واسمح برموز البحث والمستخدم، وكرّر أي مسارات خاصة في كل مجموعة، لأن المجموعة المسماة لا ترث من *.
ما مدى موثوقية هذه الأرقام؟
هذه قواعد robots.txt للصفحة الرئيسية، قرأها محلل واحد في يوم واحد. وهي لا تقيس حظر جدران الحماية، التي قد ترفض زاحفًا يسمح له robots.txt. ولا يمكنها معرفة قصد كل موقع، وتتضمن قائمة Tranco نطاقات لا تخدم موقعًا إلكترونيًا. وقاعدة تحظر زاحف بحث ليست دليلًا على خطأ، بل على خيار يُتخذ غالبًا دون معرفة الفرق. يمكنك الاقتباس من الأرقام مع رابط لهذه الصفحة.
الخطوات التالية
- أداة اختبار وفحص robots.txt لزواحف الذكاء الاصطناعي
- فاحص ومدقق llms.txt
- اطّلع على مثال لتقرير كامل
- مراقبة زواحف الذكاء الاصطناعي
- الخطط والأسعار
الزواحف في هذا المقال
الأسئلة الشائعة
ما نسبة المواقع الشائعة التي تحظر زواحف الذكاء الاصطناعي؟
من بين 6,192 نطاقًا في قائمة Tranco لأشهر 10,000 نطاق تقدّم ملف robots.txt، يحظر 23.2% زاحف تدريب واحدًا على الأقل للذكاء الاصطناعي، ويحظر 12.3% زاحف بحث أو مستخدم واحدًا على الأقل.
هل المواقع التي تحظر تدريب الذكاء الاصطناعي تحظر البحث أيضًا؟
غالبًا. 51.6% من المواقع التي تحظر زاحف تدريب تحظر أيضًا زاحف بحث أو مستخدم واحدًا على الأقل للذكاء الاصطناعي، مع أن الشركات توثّقها كزواحف منفصلة بإعدادات مستقلة.
ما أكثر زواحف الذكاء الاصطناعي حظرًا؟
بين زواحف التدريب: Bytespider (18.7%) وCCBot (18.5%)، ثم GPTBot (17.4%). وبين زواحف البحث بالذكاء الاصطناعي، PerplexityBot هو الأكثر حظرًا، في 10.4% من النطاقات.
لماذا تختلف الأرقام عن تقرير الـ 1,000 موقع؟
أول 1,000 نطاق تعطي نسبًا قريبة جدًا (28.6% و18.6% مقابل 29.9% و19.5%). أرقام الـ 10,000 موقع أقل لأن المواقع الأصغر تحظر أقل.
المصادر
- AISeeWhy: تقرير الوصول إلى زواحف الذكاء الاصطناعي، 2026-11
- Tranco: ترتيب للمواقع الأعلى موجّه للبحث العلمي
- RFC 9309: بروتوكول استبعاد الروبوتات
- OpenAI: نظرة عامة على زواحف OpenAI
- Anthropic: هل تزحف Anthropic على بيانات الويب، وكيف يمكن لأصحاب المواقع حظر الزاحف؟
- Perplexity: زواحف Perplexity