AISeeWhy
AR
ابدأ التجربة المجانية

هل يحظر Cloudflare زواحف الذكاء الاصطناعي؟ كيف تكتشف ذلك وتعالجه

تاريخ النشر

الإجابة المختصرة

قد ترد Cloudflare وجدران الحماية الأخرى على زواحف الذكاء الاصطناعي بالرمز 403 أو 429 أو بصفحة التحدي «Just a moment...» بينما تحصل المتصفحات على الصفحة الحقيقية، حتى لو كان robots.txt يسمح للزاحف. تحقق بطلب الصفحة بوكيل مستخدم الزاحف، ثم اسمح لزواحف بحث الذكاء الاصطناعي في AI Crawl Control أو بقاعدة تخطٍّ في WAF.

الحماية من الروبوتات موجودة لإيقاف السحب الآلي وإساءة الاستخدام، وهي جيدة في ذلك. المشكلة أن زواحف بحث الذكاء الاصطناعي روبوتات أيضاً. فقد يُبقي إعداد أمني فُعّل منذ سنوات، أو حد للطلبات، أو قاعدة واسعة ضد وكلاء المستخدم المجهولين، الزواحف التي تستشهد بك بعيداً عن موقعك بصمت، بينما تبدو زياراتك أنت طبيعية تماماً.

في هذه الصفحة
  1. لماذا قد يحظر جدار الحماية زواحف الذكاء الاصطناعي؟
  2. كيف أميّز حظر جدار الحماية من حظر robots.txt؟
  3. كيف أسمح لزواحف بحث الذكاء الاصطناعي في Cloudflare؟
  4. ماذا عن Bot Fight Mode؟
  5. أي الزواحف أسمح لها بالمرور؟
  6. كيف يكتشف AISeeWhy حظر جدار الحماية؟

لماذا قد يحظر جدار الحماية زواحف الذكاء الاصطناعي؟

يحكم جدار الحماية على كل طلب. الزاحف لا ينفّذ تحديات JavaScript، ولا يحتفظ بملفات تعريف الارتباط كما يفعل المتصفح، وغالباً يطلب صفحات كثيرة متتالية، فقد يشبه تماماً الحركة التي صُممت الحماية من الروبوتات لإيقافها. من الأسباب الشائعة:

كيف أميّز حظر جدار الحماية من حظر robots.txt؟

حظر robots.txt طلب مهذّب: يقرأ الزاحف قواعدك ولا يجلب الصفحة. أما حظر جدار الحماية فهو ردّ: يطلب الزاحف الصفحة فيحصل على شيء آخر. ويمكنك رؤية النوع الثاني مباشرة. اطلب الصفحة مرتين، مرة بوكيل مستخدم متصفح ومرة بوكيل الزاحف، وقارن.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

علامات حظر جدار الحماية: رمز الحالة 403 أو 429 أو 503 للزاحف فقط؛ أو صفحة عنوانها Just a moment... أو Attention Required! | Cloudflare؛ أو محتوى يتضمن /cdn-cgi/challenge-platform؛ أو استجابة 200 أقصر بكثير من استجابة المتصفح. وتذكّر أن اختبارك يأتي من عنوان IP الخاص بك وليس من نطاق IP الموثّق للزاحف، فهو يبيّن كيف يعامل جدار الحماية وكيل المستخدم، لا كل تفاصيل معاملته للزاحف الحقيقي.

كيف أسمح لزواحف بحث الذكاء الاصطناعي في Cloudflare؟

تعرض خاصية AI Crawl Control في Cloudflare، المتاحة في جميع الخطط، زواحف الذكاء الاصطناعي التي تزور نطاقك وتتيح لك تحديد إجراء لكل منها. في لوحة التحكم، افتح AI Crawl Control، وانتقل إلى قائمة Crawlers واختر Allow أو Block في عمود Action لكل زاحف. وتقول Cloudflare إن الحظر هناك ينشئ قاعدة WAF مخصصة في منطقتك أو يحدّثها.

أما إذا كان الذي يحظر الزاحف هو قاعدة WAF مخصصة أو Super Bot Fight Mode أو تحديد المعدل، فأضف قاعدة مخصصة تتخطى تلك الميزات للروبوتات الموثّقة ولرمز الزاحف:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

ضع القاعدة أولاً. وانتبه إلى أن المطابقة على وكيل المستخدم تسمح بالمرور أيضاً لمن ينتحل هذا الوكيل. وحيثما أمكن، فضّل الحقل الخاص بالروبوتات الموثّقة (cf.client.bot) أو نطاقات IP التي تنشرها الجهة المطوِّرة.

ماذا عن Bot Fight Mode؟

توضح وثائق Cloudflare صراحةً أنه لا يمكن تجاوز Bot Fight Mode أو تخطيه بقواعد WAF المخصصة أو Page Rules. فإذا كانت هذه الميزة هي التي تتحدى الزواحف، فلن تنفع قاعدة التخطي. الخياران: إيقاف Bot Fight Mode، أو استخدام Super Bot Fight Mode في خطة تتضمنه، فهو يعمل على Ruleset Engine ويدعم قواعد التخطي.

أي الزواحف أسمح لها بالمرور؟

افصل الزواحف بحسب وظيفتها. زواحف البحث وجلب المستخدم تحدد ما إذا كانت إجابات الذكاء الاصطناعي تستطيع العثور عليك والاستشهاد بك. أما زواحف التدريب فتجمع بيانات للنماذج، وحظرها خيار مشروع لا يُخرجك من بحث الذكاء الاصطناعي.

تستخدم إعدادات السياسة في Cloudflare التقسيم نفسه إلى Search وAgent وTraining، فيمكنك السماح للأولين وتقرير الثالث بشكل منفصل. وإذا كنت تستخدم جدار حماية أو CDN آخر فالمبدأ واحد: ضع رمز الزاحف في قائمة السماح، مع التحقق منه بنطاقات IP التي تنشرها الجهة المطوِّرة أو بالبحث العكسي في DNS حيث يتوفر، ليحصل على الاستجابة نفسها التي يحصل عليها المتصفح.

كيف يكتشف AISeeWhy حظر جدار الحماية؟

يطلب AISeeWhy صفحتك بوصفه 14 زاحفاً ومتصفحاً عادياً، ويقارن الحالة والحجم وعمليات إعادة التوجيه، ويتعرف على صفحات التحدي، ويسمّي جدار الحماية أو CDN الذي رد. وعندما يسمح robots.txt لزاحف ويحظره الخادم، يعرض التقرير هذا التعارض ويقدّم قاعدة Cloudflare أو خطوة قائمة السماح لإصلاحه.

الأسئلة الشائعة

هل يحظر Cloudflare زواحف الذكاء الاصطناعي افتراضياً؟

يعتمد ذلك على حسابك وخطتك وإعدادات منطقتك، وقد غيّرت Cloudflare هذه الخيارات مع الوقت. افحص AI Crawl Control وإعدادات الروبوتات، واختبر بوكيل مستخدم الزاحف بدلاً من الافتراض.

لماذا يعمل موقعي في المتصفح ولا يعمل للزواحف؟

يحكم جدار الحماية على كل طلب. المتصفح يجتاز تحديات JavaScript ويحتفظ بملفات تعريف الارتباط، أما الزاحف فلا، فقد يتلقى صفحة تحدٍّ أو 403 لا تراهما أنت.

هل من الآمن السماح لزواحف الذكاء الاصطناعي عبر WAF؟

السماح لزاحف مسمّى منخفض المخاطر إذا تحققت منه بنطاقات IP الخاصة بالجهة المطوِّرة أو بإشارة الروبوتات الموثّقة في Cloudflare. أما القواعد التي تثق بوكيل المستخدم وحده فتسمح أيضاً بمرور كل من ينسخه.

هل تؤثر ميزة إخفاء البريد الإلكتروني في Cloudflare على زواحف الذكاء الاصطناعي؟

هي تستبدل عناوين البريد برابط لا يفك ترميزه إلا سكربت، فيرى الزاحف عنصراً بديلاً بدل العنوان. إذا أردت أن يكون بريد التواصل مقروءاً، فأوقف Email Address Obfuscation ضمن Scrape Shield واعرض العنوان نصاً عادياً.

المصادر

مقالات أخرى