أربعة من كل عشرة مواقع أعمال ترفض زواحف الذكاء الاصطناعي
في تدقيقنا لـ165 موقع أعمال في الولايات المتحدة وبريطانيا وفرنسا، رفض 38% منها زاحف ذكاء اصطناعي واحدًا على الأقل على مستوى الخادم، وكان ذلك غالبًا زاحف تدريب أو كاشط بيانات. كما رفض موقع واحد تقريبًا من كل عشرة زاحف بحث للذكاء الاصطناعي مثل PerplexityBot أو OAI-SearchBot، وهي الزواحف التي قد تؤدي إلى الاستشهاد بموقعك. تحقق من موقعك بطلب واحد لكل زاحف.
تسأل ChatGPT عن منتجك أنت، فيذكر منافسًا وموقع مراجعات ومنشورًا في منتدى. أحيانًا يكون السبب في المحتوى. وفي كثير من الأحيان يكون جدار حماية يرد على زواحف الذكاء الاصطناعي بالرفض، ولا يلاحظ ذلك أحد في فريقك لأن الموقع يعمل جيدًا في المتصفح.
في هذه الصفحة
ماذا اختبرنا؟
نطلب صفحة عدة مرات من العنوان نفسه: مرة كمتصفح عادي، ومرة لكل زاحف من 14 زاحفًا للذكاء الاصطناعي والبحث، منها GPTBot وOAI-SearchBot وChatGPT-User من OpenAI، وClaudeBot وClaude-SearchBot من Anthropic، وPerplexityBot من Perplexity. إذا حصل المتصفح على الصفحة وحصل الزاحف على 401 أو 403 أو 406 أو 429 أو 451 أو 503 أو صفحة تحقق، فهذا يعني أن الموقع يرفض ذلك الزاحف.
العينة تضم 218 موقع أعمال في الولايات المتحدة وبريطانيا وفرنسا، جرى تدقيقها بين 18 و21 نوفمبر 2026. تمكنا من إجراء الاختبار الكامل على 165 موقعًا. أما الـ53 الباقية فقد رفضت حتى طلب المتصفح العادي أو لم ترد، فاستبعدناها بدل التخمين.
ماذا وجدنا؟
- 38% من المواقع القابلة للاختبار (63 من 165) رفضت زاحف ذكاء اصطناعي واحدًا على الأقل.
- كل واحد من هذه المواقع رفض زاحف تدريب أو كاشط بيانات واحدًا على الأقل. رفض 35% من جميع المواقع
Bytespider، و13% رفضتClaudeBot، و11% رفضتGPTBot. - 10% من المواقع (16) رفضت أيضًا زاحف بحث واحدًا على الأقل، و5% (8) رفضت زاحفًا يفتح الصفحة مباشرة عندما يسأل شخص المساعد عنها.
- أهم زواحف البحث المرفوضة كانت
PerplexityBot(11 موقعًا) وOAI-SearchBot(5 مواقع). - كانت Cloudflare وراء 32 من 66 موقعًا رفضت أي زاحف اختبرناه. وفي 30 موقعًا آخر لم نستطع تحديد جدار الحماية الذي رد.
لماذا يحدث ذلك، ومتى يكون خيارًا مقصودًا؟
على الأرجح أن جزءًا كبيرًا من هذا مقصود. كثير من الأصحاب لا يريدون استخدام محتواهم لتدريب النماذج، وإعدادات الحماية التي تحجب الكاشطات سهلة التفعيل. وهذا خيار مشروع.
المشكلة أن شركات الذكاء الاصطناعي تشغّل زواحف منفصلة للتدريب وللبحث. حجب زاحف التدريب لا يستلزم حجب زاحف البحث، وزاحف البحث هو الذي قد يؤدي إلى الاستشهاد بصفحتك في إجابة.
هل أكبر المواقع أفضل حالًا؟
ليس تمامًا. في تقريرنا عن robots.txt لأكثر 1,000 نطاق شعبية، 29.9% من المواقع التي لديها ملف robots.txt تحجب زاحف تدريب واحدًا على الأقل، و63.2% من هذه تحجب أيضًا زاحف بحث أو مستخدم واحدًا على الأقل. و11.0% فقط تحجب التدريب مع السماح لكل زواحف البحث، وهو الإعداد الذي أراده معظمها على الأرجح.
كيف أفحص موقعي خلال عشر دقائق؟
- افتح
yoursite.com/robots.txt. لكل زاحف ذكاء اصطناعي يهمك، انظر هل توجد مجموعة تذكره وماذا تقول. المجموعة التي تذكر زاحفًا بالاسم تحل محل المجموعة العامة*بالكامل. - اختبر ما يفعله الخادم، لا ما يقوله الملف. اطلب صفحتك المهمة كمتصفح ثم كزاحف. إن ظهر 403 أو 429 أو صفحة بعنوان
Just a moment...أو استجابة أصغر بكثير من استجابة المتصفح، فهذه علامة حجب من جدار حماية. - اسأل المساعد. مع تفعيل البحث، اسأل ChatGPT أو Perplexity الأسئلة التي يطرحها عملاؤك وانظر إلى المواقع التي يستشهد بها. إذا كان الوصول سليمًا ومع ذلك لا يظهر موقعك، فالمشكلة في المحتوى لا في الوصول.
ما مدى موثوقية هذه الأرقام؟
تعامل معها كنمط عام لا كإحصاء شامل. العينة ليست عشوائية: هذه شركات وجدناها عبر مكتبات الإعلانات ولوحات الوظائف وقوائم الخرائط. نحن نختبر بحسب وكيل المستخدم من عنوان واحد، بينما تأتي الزواحف الحقيقية من العناوين التي تنشرها شركاتها، لذا قد تعامل بعض جدران الحماية الزواحف الحقيقية بشكل مختلف. كما أن الحجب ليس خطأً دائمًا.
الخطوات التالية
- أداة اختبار وفحص robots.txt لزواحف الذكاء الاصطناعي
- اطّلع على مثال لتقرير كامل
- مراقبة زواحف الذكاء الاصطناعي
- الخطط والأسعار
الزواحف في هذا المقال
الأسئلة الشائعة
ما نسبة المواقع التي تحجب زواحف الذكاء الاصطناعي؟
في تدقيقنا لـ165 موقع أعمال قابلًا للاختبار، رفض 38% زاحف ذكاء اصطناعي واحدًا على الأقل على مستوى الخادم، ومعظمها زواحف تدريب وكاشطات. ورفض نحو 10% أيضًا زاحف بحث للذكاء الاصطناعي.
هل حجب GPTBot يُبعد موقعي عن بحث ChatGPT؟
لا. توضح OpenAI أن كل إعداد في robots.txt لزواحفها مستقل: GPTBot يتعلق بالتدريب، وOAI-SearchBot ببحث ChatGPT. حجب أحدهما لا يحجب الآخر.
كيف يمكن لموقع حجب زاحف دون robots.txt؟
قد ترد قاعدة في جدار حماية أو CDN أو نظام حماية من الروبوتات على الزاحف بـ403 أو 429 أو صفحة تحقق. لا يظهر robots.txt ذلك أبدًا، لذلك يجب اختباره بطلب الصفحة كما يفعل الزاحف.
هل رفض الزاحف خطأ دائمًا؟
لا. كثير من الأصحاب يريدون إبعاد زواحف التدريب والكاشطات. الخطأ هو حجب زواحف البحث بالصدفة، لأنها التي قد تستشهد بصفحتك.
المصادر
- AISeeWhy: تقرير وصول زواحف الذكاء الاصطناعي، 2026-11
- RFC 9309: بروتوكول استبعاد الروبوتات
- OpenAI: نظرة عامة على زواحف OpenAI
- Perplexity: زواحف Perplexity
- Cloudflare: إدارة زواحف الذكاء الاصطناعي (AI Crawl Control)