كيف تقرأ تقرير AI Crawl Control في Cloudflare وترى أي زواحف الذكاء الاصطناعي تدخل
افتح AI Crawl Control في لوحة تحكم Cloudflare: تعرض قائمة الزواحف كل زاحف ذكاء اصطناعي رآه Cloudflare على نطاقك، وطلباته، ومخالفاته لـ robots.txt، وما إذا كان إجراؤه Allow أو Block. ولتبقى في بحث الذكاء الاصطناعي مع رفض التدريب، اسمح لزواحف البحث والوكلاء، واحظر زواحف التدريب أو امنعها هناك أو ضمن سياسات AI Crawler and Agent access. ثم تأكد من الخارج باستخدام curl، لأن ميزات أخرى في Cloudflare قد تظل تحظر زاحفاً سمحت له.
أصبح لدى Cloudflare الآن موضعان يقرران ما تتلقاه زواحف الذكاء الاصطناعي: AI Crawl Control، وهو تقرير ولوحة تحكم لكل زاحف كان اسمه سابقاً AI Audit، وسياسات AI Crawler and Agent access التي تسري على المنطقة كلها ضمن إعدادات الأمان. كلاهما متاح في الخطة المجانية Free، وكلاهما تغيّر خلال 2026، ولا يخبرك أي منهما بكل الميزات الأخرى التي قد تردّ على الزاحف بالرمز 403. يمرّ هذا الدليل على التقرير عموداً عموداً، ويبيّن أين تضبط السماح والحظر، وينتهي باختبار يمكنك تشغيله من جهازك.
في هذه الصفحة
- أين يوجد تقرير زواحف الذكاء الاصطناعي في Cloudflare؟
- ما معنى كل عمود ومقياس في تقرير AI Crawl Control؟
- كيف أسمح لزواحف بحث الذكاء الاصطناعي وأحظر زواحف التدريب في Cloudflare؟
- ما الذي تغيّر في الإعدادات الافتراضية لزواحف الذكاء الاصطناعي في Cloudflare؟
- لماذا ما زال Cloudflare يحظر زواحف الذكاء الاصطناعي بعد أن سمحت لها؟
- كيف أتأكد من الخارج أي زواحف الذكاء الاصطناعي يسمح لها Cloudflare بالدخول؟
- كيف يفحص AISeeWhy ما يرسله Cloudflare إلى زواحف الذكاء الاصطناعي؟
أين يوجد تقرير زواحف الذكاء الاصطناعي في Cloudflare؟
في لوحة التحكم، اختر حسابك ونطاقك، ثم افتح AI Crawl Control. تقول Cloudflare إنه يعمل دون إعداد ومتاح في كل الخطط، ما دامت زيارات نطاقك تمرّ عبر وكيل Cloudflare. وفيه أربعة أقسام:
- Overview: ملخص تنفيذي بإجمالي الطلبات، وتغيّر الحجم، ورمز الحالة الأكثر شيوعاً، والمسار الأكثر طلباً، والزواحف ذات الحجم الكبير، إضافة إلى ما إذا كان ملف robots.txt المُدار من Cloudflare مفعّلاً، والزواحف مجمّعة حسب الجهة المشغّلة مثل OpenAI وMicrosoft وGoogle وByteDance وAnthropic وMeta.
- قائمة الزواحف: صف لكل زاحف ذكاء اصطناعي، مع عمود Action تختار فيه Allow أو Block. تسمّي وثائق Cloudflare هذا التبويب Crawlers في صفحة وSecurity في صفحة أخرى، فابحث عن الجدول الذي فيه عمود Action.
- Metrics: الطلبات عبر الزمن، وتوزيع رموز الحالة، وصيغة المحتوى، والمسارات الأكثر طلباً، والإحالات في الخطط المدفوعة. وتشمل الفلاتر النطاق الزمني والزاحف والجهة المشغّلة واسم المضيف والمسار، ويمكنك تصدير ملف CSV.
- Directives: سلامة ملف robots.txt وقائمة مخالفات robots.txt.
هناك حدّان مرتبطان بالخطة يهمّان عند قراءة الأرقام. في الخطة المجانية Free يتعرف AI Crawl Control على الزواحف من سلسلة وكيل المستخدم فقط، فيرى الزواحف التي تعلن عن نفسها ولا شيء غيرها، ويغطي تبويب Metrics آخر 24 ساعة. وتضيف الخطط المدفوعة الكشف عبر معرّف الكشف في Bot Management، وتحصل خطة Enterprise مع Bot Management على فترات زمنية قابلة للضبط.
ما معنى كل عمود ومقياس في تقرير AI Crawl Control؟
توثّق Cloudflare الحقول على النحو التالي. والتعريفات مهمة، لأن عدة أرقام تحتسب أكثر مما قد تتوقع.
- Crawler وCategory: اسم الزاحف، والجهة المشغّلة له، وفئته، مثل زاحف ذكاء اصطناعي أو مساعد ذكاء اصطناعي أو أداة أرشفة.
- Requests: الطلبات المسموحة مضافاً إليها الطلبات غير الناجحة، مع مخطط اتجاه. قد تأتي الطلبات غير الناجحة من أي قاعدة أو خطأ في الاستجابة، لا من حظر AI Crawl Control وحده، فالرقم المرتفع لزاحف سمحت له يشير إلى قاعدة أخرى أو إلى أخطاء في خادمك الأصلي.
- Allowed requests: الطلبات التي تلقت حالة بين 200 و299. ويُقاس نقل البيانات من البايتات التي أرسلتها Cloudflare للطلبات المسموحة.
- Robots.txt violations: عدد المرات التي طلب فيها الزاحف مساراً يمنعه ملف robots.txt لديك. تقارن Cloudflare الطلبات السابقة بقواعدك الحالية، فقد تُبرز قاعدة تضيفها اليوم طلبات كانت مسموحة وقت إرسالها.
- Action: Allow أو Block أو، للحسابات المشاركة في النسخة التجريبية من pay per crawl، Charge.
- Status code distribution: 2xx و3xx و4xx و5xx. وتشمل فئة 4xx الرمز 403 الناتج عن الحظر و402 الناتج عن pay per crawl.
- Referrals وأهم المُحيلين، في الخطط المدفوعة فقط: الزيارات القادمة من خدمات الذكاء الاصطناعي، مثل chatgpt.com، والصفحات التي وصلت إليها.
اقرأ التقرير انطلاقاً من الإجراء الذي اخترته. الزاحف المضبوط على Allow ينبغي أن تكون معظم طلباته مسموحة برموز 2xx. وإذا ظهرت له طلبات كثيرة غير ناجحة، فافتح توزيع رموز الحالة مصفّى على ذلك الزاحف، وراجع Security Analytics لتجد القاعدة التي ردّت.
كيف أسمح لزواحف بحث الذكاء الاصطناعي وأحظر زواحف التدريب في Cloudflare؟
يمكنك فعل ذلك لكل زاحف على حدة أو حسب السلوك. لكل زاحف، افتح AI Crawl Control واضبط Action لكل صف. تقول Cloudflare إن الحظر هناك ينشئ قاعدة WAF مخصصة على منطقتك أو يحدّثها، ويمكنك توسيعها في WAF لاستثناءات المسارات. وفي الخطط المدفوعة يمكنك اختيار ما إذا كانت الزواحف المحظورة تتلقى 403 أو 402، وتحديد نص استجابة عادي.
وحسب السلوك، اذهب إلى Security ثم Settings، وصفِّ على Bot traffic وافتح AI Crawler and Agent access policies. تصنّف Cloudflare زيارات الذكاء الاصطناعي في ثلاثة سلوكيات، وتنطبق كل سياسة على البوتات الموثّقة ذات هذا السلوك وعلى البوتات غير الموثّقة المطابقة:
- Search: جمع المحتوى أو فهرسته للإجابة عن الأسئلة لاحقاً.
- Agent: التصرف في الوقت الفعلي نيابةً عن شخص، مثل الجلب من المحادثات ووكلاء التصفح.
- Training: جمع المحتوى لتدريب النماذج أو ضبطها، بما في ذلك الزواحف المستخدمة للتدريب والبحث معاً.
يمكن ضبط كل سلوك على Block أو Block on pages with ads أو Allow (do not block). ولـ Training أيضاً خيار Disallow، الذي يطلب من الزواحف فقط عبر robots.txt. ومع تفعيل Bot Preference Sync تضيف Cloudflare في بداية ملف robots.txt قواعد مُدارة تمنع Amazonbot وApplebot-Extended وBytespider وCCBot وClaudeBot وGoogle-Extended وGPTBot وmeta-externalagent، وتضيف سطر Content Signals، وتحظر أيضاً زواحف تدريب الذكاء الاصطناعي على حافة الشبكة، باستثناء الزواحف المستخدمة للبحث والتدريب معاً.
لمعظم المواقع التي تريد أن يُستشهد بها في الذكاء الاصطناعي، المزيج الآمن هو Search وAgent على Allow وTraining على Disallow، ثم إجراءات Block فردية في AI Crawl Control لزواحف التدريب البحتة التي تريد إيقافها على الحافة.
ما الذي تغيّر في الإعدادات الافتراضية لزواحف الذكاء الاصطناعي في Cloudflare؟
في 1 يوليو 2025 أعلنت Cloudflare أنها ستغيّر الإعداد الافتراضي لحظر زواحف الذكاء الاصطناعي ما لم تدفع لصنّاع المحتوى. وفي 1 يوليو 2026 استبدلت المفتاح الوحيد Block AI bots بالسياسات المنفصلة Search وAgent وTraining الموصوفة أعلاه، لكل الخطط بما فيها Free. وقال الإعلان نفسه إن النطاقات الجديدة المضافة بدءاً من 15 سبتمبر 2026 سيكون فيها Training وAgent محظورين في الصفحات التي تعرض إعلانات، مع السماح بـ Search.
أما وثائق السياسات الحالية في Cloudflare، المحدّثة في 2 نوفمبر 2026، فتقول إن النطاقات الجديدة مضبوطة افتراضياً على Allow (do not block) للسلوكيات الثلاثة. وبما أن صفحات Cloudflare نفسها وصفت إعدادات افتراضية مختلفة في أوقات مختلفة، فلا تعتمد على أي منها لمنطقتك: افتح صفحة السياسات واقرأ ما هو مضبوط.
لماذا ما زال Cloudflare يحظر زواحف الذكاء الاصطناعي بعد أن سمحت لها؟
إجراء Allow في AI Crawl Control يمنع AI Crawl Control وحده من الحظر. وما زالت ميزات أخرى تتعامل مع الطلب. الأسباب الشائعة:
- حظر Training يحظر أيضاً زواحف البحث التي تقوم بالأمرين. تقول وثائق Cloudflare إن إجراءات Training تنطبق على الزواحف متعددة الأغراض، ويذكر إعلانها في يوليو 2026 أن Googlebot وApplebot وbingbot من الزواحف التي سيحظرها العملاء الذين يحظرون Training بدءاً من 15 سبتمبر 2026. وخيار Disallow أضيق نطاقاً، لأن حظره على الحافة يتجاوز الزواحف متعددة الأغراض.
- Bot Fight Mode مفعّل. تقول Cloudflare إنه لا يمكن تجاوز Bot Fight Mode أو استثناؤه بقواعد WAF المخصصة أو Page Rules. فإن كان يعرض تحدياً على زاحف، فأوقفه، أو استخدم Super Bot Fight Mode إن كانت خطتك تتضمنه، فهو يدعم قواعد الاستثناء.
- قاعدة WAF مخصصة قديمة تحظر وكلاء المستخدم التي تحتوي على
bot، أو قاعدة تحديد معدل تردّ على الدفعات بالرمز 429. وهذه تعمل بغض النظر عن Action في AI Crawl Control. - عُدّلت قاعدة الحظر يدوياً. إذا غُيّرت قاعدة WAF التي يعتمد عليها AI Crawl Control إلى رمز استجابة آخر، فلن تعود لوحة التحكم قادرة على تطبيق اختيارك.
- ما زال robots.txt يمنع الزاحف. إجراء Allow في Cloudflare لا يغيّر ملف robots.txt، فيبقى الزاحف الملتزم بعيداً على أي حال. وفي دراستنا لأشهر 1,000 نطاق، كان 98 من أصل 155 موقعاً تحظر زاحف تدريب في robots.txt تحظر أيضاً زاحفاً واحداً على الأقل من زواحف البحث أو المستخدم.
كيف أتأكد من الخارج أي زواحف الذكاء الاصطناعي يسمح لها Cloudflare بالدخول؟
اطلب الصفحة نفسها بوكيل مستخدم متصفح وبوكيل مستخدم كل زاحف، ثم قارن الحالة والحجم. سلاسل OpenAI وPerplexity وGoogle أدناه هي التي تنشرها تلك الشركات.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" سطر الزاحف الذي يعطي 403 أو 429 أو 503، أو حجماً أصغر بكثير من سطر المتصفح، يعني أن شيئاً أمام خادمك الأصلي ردّ بشكل مختلف. وفي الخطة المجانية Free يكتشف AI Crawl Control الزواحف من وكيل المستخدم، لذا يُعدّ هذا الاختبار فحصاً معقولاً لحالات الحظر فيه. أما القواعد المبنية على حالة البوت الموثّق أو على درجات البوت فقد تعامل طلبك بشكل مختلف عن الزاحف الحقيقي، لأنه يأتي من عنوان IP الخاص بك لا من النطاقات المنشورة للجهة المشغّلة. بعد الاختبار، ابحث عن طلباتك في Security Analytics لترى أي قاعدة طابقت.
كيف يفحص AISeeWhy ما يرسله Cloudflare إلى زواحف الذكاء الاصطناعي؟
يطلب فحص AISeeWhy المجاني صفحتك بصفتها 16 زاحف ذكاء اصطناعي وبحث إلى جانب متصفح حقيقي، ويطبّق robots.txt على كل زاحف، ويتعرف على صفحات التحدي في جدران الحماية، فترى ما إذا كانت النتيجة في لوحة تحكم Cloudflare تطابق ما تتلقاه الزواحف فعلاً.
إصلاحات لهذه المشكلة
الخطوات التالية
- أداة اختبار وفحص robots.txt لزواحف الذكاء الاصطناعي
- فحص عناوين IP لزواحف الذكاء الاصطناعي
- اطّلع على مثال لتقرير كامل
- مراقبة زواحف الذكاء الاصطناعي
- الخطط والأسعار
الزواحف في هذا المقال
الأسئلة الشائعة
هل AI Crawl Control في Cloudflare مجاني؟
نعم. تذكر Cloudflare أن AI Crawl Control متاح في كل الخطط. تكتشف الخطة المجانية Free الزواحف من وكيل المستخدم فقط وتعرض آخر 24 ساعة في Metrics؛ أما بيانات الإحالة واستجابات الحظر المخصصة فتحتاج إلى خطة مدفوعة.
ماذا حدث لأداة AI Audit في Cloudflare؟
تغيّر اسمها. تصف وثائق Cloudflare أداة AI Crawl Control بأنها AI Audit سابقاً، والغرض واحد: معرفة زواحف الذكاء الاصطناعي التي تزور الموقع وتحديد إجراء لكل منها.
هل يغيّر حظر زاحف في AI Crawl Control ملف robots.txt لديّ؟
لا. إجراء Block ينشئ قاعدة WAF مخصصة أو يحدّثها. ولا يتغير robots.txt إلا إذا استخدمت خيار Disallow لـ Training مع Bot Preference Sync، الذي يضيف القواعد المُدارة من Cloudflare في بداية ملفك.
ما الذي يُعدّ مخالفة لـ robots.txt في Cloudflare؟
طلب من زاحف ذكاء اصطناعي إلى مسار يمنعه ملف robots.txt لديك. تقارن Cloudflare الطلبات السابقة بقواعدك الحالية، فقد تُبرز قاعدة جديدة طلبات أقدم كانت مسموحة في وقتها.
ما هو pay per crawl؟
إجراء Charge يطلب من زواحف الذكاء الاصطناعي الدفع عن كل طلب، ويردّ بخلاف ذلك بالرمز HTTP 402 مع السعر. تصفه Cloudflare بأنه نسخة تجريبية مغلقة، وتسبقه حالات الحظر في WAF أو Bot Management.
المصادر
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: تقرير وصول زواحف الذكاء الاصطناعي، 2026-11