لماذا بدأ موقعي فجأة يحظر زواحف الذكاء الاصطناعي؟

تاريخ النشر

الإجابة المختصرة

الموقع الذي يبدأ في حظر زواحف الذكاء الاصطناعي يكون قد تغيّر في الغالب في أحد خمسة مواضع: ملف robots.txt المُرسل فعلاً، أو إعداد في CDN مثل سياسات زواحف الذكاء الاصطناعي في Cloudflare، أو الحماية من البوتات أو تحديد المعدل، أو إعداد افتراضي لدى الاستضافة، أو ملف robots.txt صار يردّ بخطأ. اجلب robots.txt الحالي وصفحةً بصفة كل زاحف، وقارنهما بالمتصفح وبما كان لديك سابقاً، وافحص تلك الطبقات بهذا الترتيب.

لا أحد يقرر الاختفاء من إجابات الذكاء الاصطناعي. يحدث ذلك كأثر جانبي لتحديث قالب، أو إعداد أمني، أو ترحيل، أو إعداد افتراضي تغيّر لدى مزوّد. يظل المتصفح يرى الموقع بشكل طبيعي، لذا قد يمر التغيير دون أن يلاحظه أحد حتى يسأل شخص ChatGPT أو Perplexity عن المنتج فيجد منافساً. وكل طبقة تترك آثاراً يمكنك فحصها من الخارج أو في سجلاتك.

في هذه الصفحة
  1. هل تغيّر ملف robots.txt الذي تتلقاه الزواحف؟
  2. هل غيّرت سياسات Cloudflare لزواحف الذكاء الاصطناعي لعام 2026 ما يسمح به موقعي؟
  3. هل تلتقط الحماية من البوتات أو تحديد المعدل الزواحف؟
  4. هل غيّر مزوّد الاستضافة إعداداته الافتراضية؟
  5. هل يردّ robots.txt بخطأ؟
  6. كيف أعرف متى بدأ الأمر؟
  7. كيف أكتشف المشكلة أسرع في المرة القادمة؟

هل تغيّر ملف robots.txt الذي تتلقاه الزواحف؟

اجلب https://yourdomain.com/robots.txt وقارنه بالملف في المستودع أو في النسخة الاحتياطية. انظر إلى الملف المُرسل لا إلى الملف على القرص، لأن عدة طبقات قد تغيّره في الطريق:

يعرض تقرير robots.txt في Google Search Console النسخ التي جلبتها Google في آخر 30 يوماً، مع إدخال جديد في كل مرة يتغير فيها الملف أو نتيجة الجلب. وهو يغطي ما رأته Google فقط، لكن ما لم يكن خادمك يغيّر robots.txt حسب وكيل المستخدم، فقد تلقت زواحف الذكاء الاصطناعي الملف نفسه.

هل غيّرت سياسات Cloudflare لزواحف الذكاء الاصطناعي لعام 2026 ما يسمح به موقعي؟

غيّرت Cloudflare ضوابط زواحف الذكاء الاصطناعي عدة مرات، وبعض التغييرات تبدّل سلوك المنطقة (zone) دون أن يعدّلها أحد. في 1 يوليو 2025 بدأت تسأل النطاقات الجديدة عند التسجيل عما إذا كانت تريد السماح لزواحف الذكاء الاصطناعي، مع الحظر كحالة ابتدائية. وفي 1 يوليو 2026 استبدلت المفتاح الوحيد Block AI bots بسياسات منفصلة هي Search وAgent وTraining، لكل الخطط بما فيها Free.

التفصيل الذي يوقع معظم المواقع هو الزواحف متعددة الأغراض. تقول وثائق Cloudflare إن إجراءات Training تنطبق أيضاً على الزواحف المستخدمة للبحث والتدريب معاً. وقال إعلانها في يوليو 2026 إنه بدءاً من 15 سبتمبر 2026 ستُحظر الزواحف متعددة الأغراض مثل Googlebot وApplebot وBingBot لدى العملاء الذين اختاروا حظر Training، سواء عبر الخيارات الجديدة أو عبر الإعداد القديم Block AI bots. لذا قد يطال اليوم خيارُ رفض التدريب الذي ضُبط قبل عام زواحفَ البحث.

وُصفت الإعدادات الافتراضية للنطاقات الجديدة بطرق مختلفة مع الوقت. فقد قال الإعلان نفسه إن النطاقات الجديدة سيكون فيها Training وAgent محظورين على الصفحات التي تعرض إعلانات بدءاً من 15 سبتمبر 2026، بينما تقول وثائق السياسات المحدّثة في 2 نوفمبر 2026 إن النطاقات الجديدة تبدأ والسياسات الثلاث على Allow. افتح Security ثم Settings، وصفِّ حسب Bot traffic، واقرأ AI Crawler and Agent access policies لمنطقتك. ويشرح دليلنا عن Cloudflare AI Crawl Control كل إعداد.

هل تلتقط الحماية من البوتات أو تحديد المعدل الزواحف؟

تقيّم الحماية من البوتات كل طلب، والزواحف تجلب صفحات كثيرة بسرعة من مراكز البيانات، وهذا بالضبط ما تفعله البوتات. فالزاحف الذي كان يمر الشهر الماضي قد يبدأ في تلقي صفحات تحدٍّ بعد أن يغيّر مشغّله نطاقات IP أو معدل الزحف، أو بعد تحديث قواعد الحماية. ويُعد Bot Fight Mode من Cloudflare سبباً شائعاً، وتقول Cloudflare إنه لا يمكن تجاوزه أو استثناؤه بقواعد WAF المخصصة أو Page Rules، لذا لن تفيد قاعدة سماح تضيفها لاحقاً ما دام مفعّلاً. وتحديد معدل جديد يردّ على الدفعات بـ 429 له الأثر نفسه على زاحف نشط.

اختبر من الخارج: اطلب صفحة بصفتك متصفحاً ثم بصفة زاحفَي بحث ذكاء اصطناعي، ثم اطلب robots.txt بصفة زاحف.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

إذا ظهر 403 أو 429 أو 503 للزاحف وحده، أو صفحة عنوانها Just a moment...، أو جسم استجابة أصغر بكثير من جسم المتصفح، فهذا يعني أن الزاحف يُعامل بشكل مختلف. يأتي الاختبار من عنوان IP الخاص بك لا من عنوان المزوّد، لذا قد تعامل القواعد المبنية على حالة البوت الموثّق الزاحفَ الحقيقي بشكل مختلف. ويُظهر سجل أحداث جدار الحماية القاعدة التي ردّت.

هل غيّر مزوّد الاستضافة إعداداته الافتراضية؟

بعض الاستضافات تصفّي زيارات الذكاء الاصطناعي على مستوى الخادم، قبل أن تعمل قواعدك. فمثلاً كتبت SiteGround في أغسطس 2025 أنها تحظر افتراضياً زواحف الذكاء الاصطناعي المصممة لجمع بيانات التدريب، وتسمح للزواحف التي تزور حين يسأل شخص مساعد ذكاء اصطناعي عن صفحة. قواعد كهذه لا تظهر في robots.txt، وقد تتغير حين تحدّث الاستضافة قوائم البوتات لديها.

إذا ظهر الحظر في عدة مواقع لدى الاستضافة نفسها في وقت واحد، أو في استجابات لا تصل أبداً إلى سجلات تطبيقك، فاسأل الاستضافة عن قواعد البوتات المطبّقة على حسابك، وهل يمكنك استثناء الزواحف التي تريد إبقاءها.

هل يردّ robots.txt بخطأ؟

ملف robots.txt الذي يفشل قد يحظر أكثر من أي سطر Disallow. بحسب RFC 9309، تعني الاستجابة 4xx أن الزاحف يجوز له جلب كل شيء، أما خطأ الخادم (5xx) أو غياب الرد تماماً فيعني أن عليه افتراض أن الموقع كله ممنوع. وتوقف Google الزحف في أول 12 ساعة من هذه الأخطاء، ثم تستخدم آخر نسخة سليمة لديها لمدة تصل إلى 30 يوماً.

هكذا يمكن لارتفاع مفاجئ في الحمل، أو قاعدة جدار حماية تعرض تحدياً على /robots.txt، أو تحديد معدل يشمله، أن يُقصي الزواحف الملتزمة دون تغيير قاعدة واحدة. يجب أن يعيد الأمر الأخير في الاختبار أعلاه 200 وtext/plain. وأي 5xx أو مهلة منتهية أو صفحة تحدٍّ هناك هو أول ما ينبغي إصلاحه.

كيف أعرف متى بدأ الأمر؟

التاريخ يحوّل اللغز إلى مقارنة (diff). في سجلات الوصول، صفِّ الطلبات القادمة من وكلاء مستخدم زواحف الذكاء الاصطناعي وابحث عن اليوم الذي تحولت فيه رموز الحالة من 200 إلى 403 أو 429 أو 503، أو اليوم الذي توقفت فيه عن طلب الصفحات بعد قراءة robots.txt؛ ويضم دليلنا عن فحص سجلات الخادم بحثاً عن زواحف الذكاء الاصطناعي الأوامر اللازمة. الطلبات التي حظرتها شبكة CDN لا تصل أبداً إلى الخادم الأصلي، لذا افحص CDN أيضاً. وفي Cloudflare، يعرض AI Crawl Control توزيع رموز الحالة عبر الزمن ويمكنك تصفيته حسب الزاحف.

ثم طابق ذلك التاريخ مع عمليات النشر، وتحديثات الإضافات والقوالب، وتغييرات إعدادات CDN، وإعلانات المزوّدين. وقبل أن تتصرف، تأكد من أن عناوين IP المصدر تعود إلى المزوّد، لتكون أمام الزاحف الحقيقي لا منتحل يستخدم اسمه.

كيف أكتشف المشكلة أسرع في المرة القادمة؟

افحص الوصول بعد كل عملية نشر وتغيير في CDN وتحديث إضافة، لا حين تنخفض الزيارات فقط. يجلب فحص AISeeWhy المجاني الصفحة بصفتها 16 زاحف ذكاء اصطناعي وبحث إلى جانب متصفح حقيقي، ويطبّق robots.txt على كل زاحف، ويتعرف على صفحات التحدي في جدران الحماية. ويعرض فاحص robots.txt المجاني لكل زاحف ما إذا كان يجوز جلب الصفحة وفق الملف المعمول به اليوم.

أدوات مجانية

الخطوات التالية

الزواحف في هذا المقال

الأسئلة الشائعة

لماذا توقف ChatGPT عن عرض موقعي؟

غالباً لأن OAI-SearchBot، الزاحف الذي يقف وراء بحث ChatGPT، صار محظوراً بتغيير في robots.txt أو بسياسة CDN أو بالحماية من البوتات. تقول OpenAI إن المواقع التي تحظره لن تظهر في إجابات بحث ChatGPT. افحص كل طبقة لهذا الزاحف، وانتظر نحو 24 ساعة بعد إصلاح robots.txt، وهي المدة التي تقول OpenAI إن أنظمتها تحتاجها للتكيّف.

هل بدأت Cloudflare تحظر Googlebot في موقعي؟

قد يحدث ذلك. قالت Cloudflare إنه بدءاً من 15 سبتمبر 2026 فإن العملاء الذين يحظرون Training يحظرون أيضاً الزواحف متعددة الأغراض مثل Googlebot وApplebot وBingBot. وتقول وثائقها إن خيار Training Disallow يحظر زواحف التدريب على الحافة لكنه يستثني الزواحف مختلطة الاستخدام، لذا تحقق من الخيار الذي تستخدمه منطقتك.

هل يمكن لمنشئ مواقع أو إضافة تغيير robots.txt نيابة عني؟

نعم. منشئو المواقع وإضافات SEO والأمان قد يكتبون قواعد لزواحف الذكاء الاصطناعي في robots.txt، وبعضها يوسّع قوائم البوتات مع الوقت. بعد كل تحديث، اجلب الملف المعمول به واقرأ المجموعات التي تنطبق على زواحف البحث التي تهمك.

لماذا يختلف robots.txt المعمول به عن الملف الموجود على خادمي؟

شيء ما أمام خادمك يغيّره. فملف robots.txt المُدار من Cloudflare مثلاً يضع قواعده وإشارات المحتوى الخاصة به قبل ملفك في الاستجابة نفسها. ونظام إدارة محتوى يولّد robots.txt عند الطلب، أو إعداد على مستوى الاستضافة، قد يستبدله أو يوسّعه أيضاً.

كم تحتاج زواحف الذكاء الاصطناعي لتعود بعد أن أصلح المشكلة؟

ينص RFC 9309 على ألا تستخدم الزواحف نسخة مخزنة من robots.txt لأكثر من 24 ساعة، وتقول OpenAI إن ذلك يستغرق نحو 24 ساعة وPerplexity حتى 24 ساعة. تسري تغييرات جدار الحماية فور أن ينشرها مزوّدك، لكن الزواحف تعود وفق جدولها الخاص.

المصادر

مقالات أخرى