كيف تقرأ تقرير AI Crawl Control في Cloudflare وترى أي زواحف الذكاء الاصطناعي تدخل

تاريخ النشر

الإجابة المختصرة

افتح AI Crawl Control في لوحة تحكم Cloudflare: تعرض قائمة الزواحف كل زاحف ذكاء اصطناعي رآه Cloudflare على نطاقك، وطلباته، ومخالفاته لـ robots.txt، وما إذا كان إجراؤه Allow أو Block. ولتبقى في بحث الذكاء الاصطناعي مع رفض التدريب، اسمح لزواحف البحث والوكلاء، واحظر زواحف التدريب أو امنعها هناك أو ضمن سياسات AI Crawler and Agent access. ثم تأكد من الخارج باستخدام curl، لأن ميزات أخرى في Cloudflare قد تظل تحظر زاحفاً سمحت له.

أصبح لدى Cloudflare الآن موضعان يقرران ما تتلقاه زواحف الذكاء الاصطناعي: AI Crawl Control، وهو تقرير ولوحة تحكم لكل زاحف كان اسمه سابقاً AI Audit، وسياسات AI Crawler and Agent access التي تسري على المنطقة كلها ضمن إعدادات الأمان. كلاهما متاح في الخطة المجانية Free، وكلاهما تغيّر خلال 2026، ولا يخبرك أي منهما بكل الميزات الأخرى التي قد تردّ على الزاحف بالرمز 403. يمرّ هذا الدليل على التقرير عموداً عموداً، ويبيّن أين تضبط السماح والحظر، وينتهي باختبار يمكنك تشغيله من جهازك.

في هذه الصفحة
  1. أين يوجد تقرير زواحف الذكاء الاصطناعي في Cloudflare؟
  2. ما معنى كل عمود ومقياس في تقرير AI Crawl Control؟
  3. كيف أسمح لزواحف بحث الذكاء الاصطناعي وأحظر زواحف التدريب في Cloudflare؟
  4. ما الذي تغيّر في الإعدادات الافتراضية لزواحف الذكاء الاصطناعي في Cloudflare؟
  5. لماذا ما زال Cloudflare يحظر زواحف الذكاء الاصطناعي بعد أن سمحت لها؟
  6. كيف أتأكد من الخارج أي زواحف الذكاء الاصطناعي يسمح لها Cloudflare بالدخول؟
  7. كيف يفحص AISeeWhy ما يرسله Cloudflare إلى زواحف الذكاء الاصطناعي؟

أين يوجد تقرير زواحف الذكاء الاصطناعي في Cloudflare؟

في لوحة التحكم، اختر حسابك ونطاقك، ثم افتح AI Crawl Control. تقول Cloudflare إنه يعمل دون إعداد ومتاح في كل الخطط، ما دامت زيارات نطاقك تمرّ عبر وكيل Cloudflare. وفيه أربعة أقسام:

هناك حدّان مرتبطان بالخطة يهمّان عند قراءة الأرقام. في الخطة المجانية Free يتعرف AI Crawl Control على الزواحف من سلسلة وكيل المستخدم فقط، فيرى الزواحف التي تعلن عن نفسها ولا شيء غيرها، ويغطي تبويب Metrics آخر 24 ساعة. وتضيف الخطط المدفوعة الكشف عبر معرّف الكشف في Bot Management، وتحصل خطة Enterprise مع Bot Management على فترات زمنية قابلة للضبط.

ما معنى كل عمود ومقياس في تقرير AI Crawl Control؟

توثّق Cloudflare الحقول على النحو التالي. والتعريفات مهمة، لأن عدة أرقام تحتسب أكثر مما قد تتوقع.

اقرأ التقرير انطلاقاً من الإجراء الذي اخترته. الزاحف المضبوط على Allow ينبغي أن تكون معظم طلباته مسموحة برموز 2xx. وإذا ظهرت له طلبات كثيرة غير ناجحة، فافتح توزيع رموز الحالة مصفّى على ذلك الزاحف، وراجع Security Analytics لتجد القاعدة التي ردّت.

كيف أسمح لزواحف بحث الذكاء الاصطناعي وأحظر زواحف التدريب في Cloudflare؟

يمكنك فعل ذلك لكل زاحف على حدة أو حسب السلوك. لكل زاحف، افتح AI Crawl Control واضبط Action لكل صف. تقول Cloudflare إن الحظر هناك ينشئ قاعدة WAF مخصصة على منطقتك أو يحدّثها، ويمكنك توسيعها في WAF لاستثناءات المسارات. وفي الخطط المدفوعة يمكنك اختيار ما إذا كانت الزواحف المحظورة تتلقى 403 أو 402، وتحديد نص استجابة عادي.

وحسب السلوك، اذهب إلى Security ثم Settings، وصفِّ على Bot traffic وافتح AI Crawler and Agent access policies. تصنّف Cloudflare زيارات الذكاء الاصطناعي في ثلاثة سلوكيات، وتنطبق كل سياسة على البوتات الموثّقة ذات هذا السلوك وعلى البوتات غير الموثّقة المطابقة:

يمكن ضبط كل سلوك على Block أو Block on pages with ads أو Allow (do not block). ولـ Training أيضاً خيار Disallow، الذي يطلب من الزواحف فقط عبر robots.txt. ومع تفعيل Bot Preference Sync تضيف Cloudflare في بداية ملف robots.txt قواعد مُدارة تمنع Amazonbot وApplebot-Extended وBytespider وCCBot وClaudeBot وGoogle-Extended وGPTBot وmeta-externalagent، وتضيف سطر Content Signals، وتحظر أيضاً زواحف تدريب الذكاء الاصطناعي على حافة الشبكة، باستثناء الزواحف المستخدمة للبحث والتدريب معاً.

لمعظم المواقع التي تريد أن يُستشهد بها في الذكاء الاصطناعي، المزيج الآمن هو Search وAgent على Allow وTraining على Disallow، ثم إجراءات Block فردية في AI Crawl Control لزواحف التدريب البحتة التي تريد إيقافها على الحافة.

ما الذي تغيّر في الإعدادات الافتراضية لزواحف الذكاء الاصطناعي في Cloudflare؟

في 1 يوليو 2025 أعلنت Cloudflare أنها ستغيّر الإعداد الافتراضي لحظر زواحف الذكاء الاصطناعي ما لم تدفع لصنّاع المحتوى. وفي 1 يوليو 2026 استبدلت المفتاح الوحيد Block AI bots بالسياسات المنفصلة Search وAgent وTraining الموصوفة أعلاه، لكل الخطط بما فيها Free. وقال الإعلان نفسه إن النطاقات الجديدة المضافة بدءاً من 15 سبتمبر 2026 سيكون فيها Training وAgent محظورين في الصفحات التي تعرض إعلانات، مع السماح بـ Search.

أما وثائق السياسات الحالية في Cloudflare، المحدّثة في 2 نوفمبر 2026، فتقول إن النطاقات الجديدة مضبوطة افتراضياً على Allow (do not block) للسلوكيات الثلاثة. وبما أن صفحات Cloudflare نفسها وصفت إعدادات افتراضية مختلفة في أوقات مختلفة، فلا تعتمد على أي منها لمنطقتك: افتح صفحة السياسات واقرأ ما هو مضبوط.

لماذا ما زال Cloudflare يحظر زواحف الذكاء الاصطناعي بعد أن سمحت لها؟

إجراء Allow في AI Crawl Control يمنع AI Crawl Control وحده من الحظر. وما زالت ميزات أخرى تتعامل مع الطلب. الأسباب الشائعة:

كيف أتأكد من الخارج أي زواحف الذكاء الاصطناعي يسمح لها Cloudflare بالدخول؟

اطلب الصفحة نفسها بوكيل مستخدم متصفح وبوكيل مستخدم كل زاحف، ثم قارن الحالة والحجم. سلاسل OpenAI وPerplexity وGoogle أدناه هي التي تنشرها تلك الشركات.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

سطر الزاحف الذي يعطي 403 أو 429 أو 503، أو حجماً أصغر بكثير من سطر المتصفح، يعني أن شيئاً أمام خادمك الأصلي ردّ بشكل مختلف. وفي الخطة المجانية Free يكتشف AI Crawl Control الزواحف من وكيل المستخدم، لذا يُعدّ هذا الاختبار فحصاً معقولاً لحالات الحظر فيه. أما القواعد المبنية على حالة البوت الموثّق أو على درجات البوت فقد تعامل طلبك بشكل مختلف عن الزاحف الحقيقي، لأنه يأتي من عنوان IP الخاص بك لا من النطاقات المنشورة للجهة المشغّلة. بعد الاختبار، ابحث عن طلباتك في Security Analytics لترى أي قاعدة طابقت.

كيف يفحص AISeeWhy ما يرسله Cloudflare إلى زواحف الذكاء الاصطناعي؟

يطلب فحص AISeeWhy المجاني صفحتك بصفتها 16 زاحف ذكاء اصطناعي وبحث إلى جانب متصفح حقيقي، ويطبّق robots.txt على كل زاحف، ويتعرف على صفحات التحدي في جدران الحماية، فترى ما إذا كانت النتيجة في لوحة تحكم Cloudflare تطابق ما تتلقاه الزواحف فعلاً.

إصلاحات لهذه المشكلة

أدوات مجانية

الخطوات التالية

الزواحف في هذا المقال

الأسئلة الشائعة

هل AI Crawl Control في Cloudflare مجاني؟

نعم. تذكر Cloudflare أن AI Crawl Control متاح في كل الخطط. تكتشف الخطة المجانية Free الزواحف من وكيل المستخدم فقط وتعرض آخر 24 ساعة في Metrics؛ أما بيانات الإحالة واستجابات الحظر المخصصة فتحتاج إلى خطة مدفوعة.

ماذا حدث لأداة AI Audit في Cloudflare؟

تغيّر اسمها. تصف وثائق Cloudflare أداة AI Crawl Control بأنها AI Audit سابقاً، والغرض واحد: معرفة زواحف الذكاء الاصطناعي التي تزور الموقع وتحديد إجراء لكل منها.

هل يغيّر حظر زاحف في AI Crawl Control ملف robots.txt لديّ؟

لا. إجراء Block ينشئ قاعدة WAF مخصصة أو يحدّثها. ولا يتغير robots.txt إلا إذا استخدمت خيار Disallow لـ Training مع Bot Preference Sync، الذي يضيف القواعد المُدارة من Cloudflare في بداية ملفك.

ما الذي يُعدّ مخالفة لـ robots.txt في Cloudflare؟

طلب من زاحف ذكاء اصطناعي إلى مسار يمنعه ملف robots.txt لديك. تقارن Cloudflare الطلبات السابقة بقواعدك الحالية، فقد تُبرز قاعدة جديدة طلبات أقدم كانت مسموحة في وقتها.

ما هو pay per crawl؟

إجراء Charge يطلب من زواحف الذكاء الاصطناعي الدفع عن كل طلب، ويردّ بخلاف ذلك بالرمز HTTP 402 مع السعر. تصفه Cloudflare بأنه نسخة تجريبية مغلقة، وتسبقه حالات الحظر في WAF أو Bot Management.

المصادر

مقالات أخرى