ما هو Content-Signal في robots.txt، وهل يلتزم به أحد؟

تاريخ النشر

الإجابة المختصرة

Content-Signal سطر اختياري في robots.txt نشرته Cloudflare، يحدد كيف يجوز استخدام محتواك بعد جلبه: search لنتائج البحث، وai-input لإدخاله في إجابات الذكاء الاصطناعي، وai-train لتدريب النماذج، وكل منها يُضبط على yes أو no، كما في Content-Signal: search=yes, ai-input=yes, ai-train=no. وهو يعبّر عن تفضيل ولا يحظر شيئاً. وحتى نوفمبر 2026، لا تذكر أي من صفحات زواحف OpenAI أو Anthropic أو Google أو Perplexity أنها تقرؤه، بينما دعمت شركات الذكاء الاصطناعي الكبرى رمزاً مختلفاً خاصاً بالتدريب فقط.

صُمم robots.txt ليحدد أين يجوز للزاحف أن يذهب، لا ما يجوز فعله بما يقرؤه. وحين صار الجلب الواحد يغذّي فهرس بحث وإجابة ذكاء اصطناعي مباشرة ومجموعة تدريب معاً، صارت تلك الفجوة مهمة. نشرت Cloudflare سياسة Content Signals Policy في 24 سبتمبر 2025 بترخيص CC0 لسدّها، وقالت حينها إن عملاءها كانوا قد فعّلوا robots.txt المُدار لأكثر من 3.8 مليون نطاق، وهي الميزة التي تضيف السطر لهم الآن.

في هذه الصفحة
  1. ماذا تعني search وai-input وai-train؟
  2. كيف أكتب سطر Content-Signal في robots.txt؟
  3. ماذا يقول نص السياسة فوق السطر؟
  4. هل Content-Signal موجود أصلاً في ملف robots.txt لديّ؟
  5. هل تلتزم زواحف الذكاء الاصطناعي بـ Content-Signal؟
  6. هل ينبغي أن أضيف Content-Signal إلى robots.txt؟
  7. كيف أفحص ما يقوله robots.txt لكل زاحف؟

ماذا تعني search وai-input وai-train؟

تعرّف السياسة ثلاث إشارات. الصياغة أدناه تتبع contentsignals.org ونص السياسة الذي تنشره Cloudflare:

تأخذ كل إشارة القيمة yes أو no. وبحسب نص السياسة، تعني yes أن المحتوى يجوز جمعه لذلك الاستخدام، وتعني no أنه لا يجوز، أما الإشارة التي تتركها فلا تمنح ذلك الاستخدام ولا تقيّده. يضبط الإعداد الافتراضي لدى Cloudflare search وai-train ويترك ai-input دون ضبط، لأنها تقول إنها لا تعرف تفضيل كل عميل لهذه الإشارة ولا تريد التخمين.

الفرق بين search وai-input هو ما يفوت معظم الناس. إن أردت استخدام صفحاتك في إجابات الذكاء الاصطناعي، فإن search=yes وحدها لا تقول ذلك. بل ai-input=yes هي التي تقوله.

كيف أكتب سطر Content-Signal في robots.txt؟

يوضع Content-Signal داخل مجموعة وكيل مستخدم، بجوار Allow وDisallow، مع الفصل بين الإشارات بفواصل. ويعرض contentsignals.org أيضاً صيغة تبدأ بمسار، فيمكن لقسم من الموقع أن يحمل إشارات مختلفة عن بقيته:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

يستمر Allow وDisallow في العمل تماماً كما كانا، ولا يحل Content-Signal محلهما. يسمح RFC 9309 للزواحف بتفسير سجلات ليست جزءاً من البروتوكول، ما دام ذلك لا يتعارض مع القواعد المعرّفة، لذا ينبغي للمحلّل الذي لا يعرف السطر أن يتخطاه.

هناك تفصيلان يستحقان المعرفة. أولاً، السطر جزء من مجموعة. بحسب RFC 9309، يتجاهل الزاحف الذي له مجموعة باسمه مجموعة User-agent: * تماماً، ولا تصف صفحات Content Signals أي استثناء لهذا السطر. فإن أعطيت Googlebot أو OAI-SearchBot مجموعة خاصة، فكرر سطر Content-Signal فيها، كما يفعل contentsignals.org في مثاله لكل زاحف. ثانياً، قد يُبلغ Google Search Console عن Syntax not understood لهذا السطر. تذكر وثائق Cloudflare ذلك وتقول إنها لم تلحظ أي أثر على الزحف أو SEO. وتذكر وثائق robots.txt لدى Google الحقول المدعومة وهي user-agent وallow وdisallow وsitemap فقط.

ماذا يقول نص السياسة فوق السطر؟

سياسة Content Signals Policy أكثر من سطر واحد. يضع كل من مولّد Cloudflare على contentsignals.org وملف robots.txt المُدار كتلة من التعليقات فوق الإشارات. تبدأ بالقول إنك، كشرط للوصول إلى الموقع، توافق على الالتزام بإشارات المحتوى، ثم تعرّف الإشارات الثلاث وحالات yes وno والإشارة الغائبة.

وتنتهي بجملة بأحرف كبيرة تنص على أن أي قيود يُعبَّر عنها عبر إشارات المحتوى هي تحفّظات صريحة على الحقوق بموجب المادة 4 من توجيه الاتحاد الأوروبي 2019/790 بشأن حقوق المؤلف في السوق الرقمية الموحدة. ويضيف إعلان Cloudflare أن الإشارات قد يكون لها وزن قانوني في ولايات قضائية مختلفة.

أما contentsignals.org نفسه فيحذّر من أن المحاكم والجهات التنظيمية قد تخلص إلى أن ملفات robots.txt لا تفرض التزامات قانونية واجبة النفاذ، ويقترح استشارة محامٍ. تعامل مع كتلة التعليقات كبيان مكتوب لموقفك، لا كعقد.

هل Content-Signal موجود أصلاً في ملف robots.txt لديّ؟

إذا كان موقعك على Cloudflare، فقد يكون موجوداً، بإحدى طريقتين:

الجزء use=reference حديث. تصف Cloudflare use بأنه حقل رابع اختياري تختبره، بثلاث قيم: immediate (التفاعل دون تخزين أو إعادة استخدام أي شيء)، وreference (الفهرسة والاقتباس والربط بالمصدر)، وfull (التلخيص وإعادة الإنتاج). وهو ليس من الإشارات الثلاث الأصلية، ولا تذكره أي من وثائق الزواحف التي فحصناها.

بما أن Cloudflare تضيف هذه الأسطر على الحافة، قد يبدو الملف في مستودعك دون تغيير بينما يختلف الملف الذي تتلقاه الزواحف. اجلب https://yourdomain.com/robots.txt المعمول به قبل أن تضيف سطرك، حتى لا تعبّر الاستجابة عن سياستين مختلفتين.

ما زال الاعتماد منخفضاً بين المواقع الكبيرة. ففي دراستنا في نوفمبر 2026 لأشهر 1,000 نطاق، استخدم 18 من أصل 518 موقعاً تقدّم robots.txt (3.5%) السطر Content-Signal.

هل تلتزم زواحف الذكاء الاصطناعي بـ Content-Signal؟

ليس بحسب أي وثائق استطعنا إيجادها. في 17 نوفمبر 2026 فحصنا صفحات زواحف OpenAI وAnthropic وGoogle وPerplexity، ولا تذكر أي منها Content-Signal. وتصف Cloudflare نفسها الإشارات بأنها تفضيلات لا تدابير تقنية مضادة للكشط (scraping)، وتقول إن بعض الشركات قد تتجاهلها ببساطة.

ما وثّقته شركات الذكاء الاصطناعي بدلاً من ذلك آلية منفصلة مبنية على عمل مجموعة IETF AI Preferences: رمز سياسة، __usage_ai-training، يُكتب كمجموعة User-Agent عادية. وهو يغطي التدريب فقط، وتقول مسودة الإنترنت (Internet-Draft) التي تعرّفه إن مجموعة User-Agent: * لا تُعد استخداماً للرمز:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

الدعم متفاوت وبعضه لم يبدأ بعد. تقول Anthropic إنها تتعرف منذ 30 أكتوبر 2026 على إشارة تدريب عامة قابلة للقراءة آلياً، وإنها تطبّقها تدريجياً، وإن القاعدة التي تذكر ClaudeBot تتقدم عليها. وتوثّق Microsoft الرمز __usage_ai-training لـ Bing، على أن تسري تفضيلاتها الجديدة مع الزحف إلى الصفحات بدءاً من 1 فبراير 2027. وتقول Google إنها تعتزم دعم أداة التحكم المشتركة في 2027، وتخطط لمعاملة رفض التدريب عبرها كمنع لـ Google-Extended حين لا يُذكر ذلك الرمز. ونشرت OpenAI في اليوم نفسه إعلاناً تقول فيه إنها ستلتزم بالإشارة المشتركة، دون تحديد موعد.

لذا فإن ai-train=no و__usage_ai-training يقولان أشياء متشابهة، لكن الثاني وحده يحظى بدعم موثّق من شركات الذكاء الاصطناعي. وتظل الرموز الخاصة بكل زاحف، مثل GPTBot وClaudeBot، هي الضوابط التي يطبّقها كل مزوّد اليوم.

هل ينبغي أن أضيف Content-Signal إلى robots.txt؟

أضفه إن أردت أن تكون سياسة الاستخدام لديك مكتوبة في مكان واحد يقرؤه البشر والآلات. وهو يعبّر أيضاً عن تفضيل ai-input لكل الزواحف في سطر واحد، بينما لا تستطيع رموز المزوّدين التعبير عن ذلك إلا زاحفاً زاحفاً. كلفته سطر واحد، والمحلّلات التي لا تعرفه تتخطاه.

لا تعتمد عليه وحده. لإبقاء المحتوى خارج التدريب، امنع أيضاً رموز التدريب الموثّقة، وفكّر في رمز التدريب المشترك؛ ويسرد دليلنا عن حظر تدريب الذكاء الاصطناعي مع البقاء في بحث الذكاء الاصطناعي الرموز لكل مزوّد. وأي جهة تتجاهل robots.txt لا يفرض الحظر عليها إلا قاعدة في جدار الحماية.

أخيراً، تحقق من أن السطر يتفق مع بقية الملف. فوضع ai-input=no بجوار مجموعة Allow لـ OAI-SearchBot أو PerplexityBot يرسل رسائل متناقضة: تسمح لزواحف بحث الذكاء الاصطناعي بالدخول بينما تقول إن إجاباتها لا يجوز أن تستخدم ما تجلبه.

كيف أفحص ما يقوله robots.txt لكل زاحف؟

يأخذ فاحص robots.txt المجاني من AISeeWhy عنوان صفحة أو ملف robots.txt ملصوقاً، ويعرض لكل زاحف ذكاء اصطناعي وبحث ما إذا كان يجوز له جلب تلك الصفحة، فتتأكد من أن الملف المعمول به، بما في ذلك أي شيء أضافته Cloudflare في بدايته، يقول ما قصدته. ويكتب مولّد robots.txt المجاني ملفاً وفق اختياراتك.

أدوات مجانية

الخطوات التالية

الزواحف في هذا المقال

الأسئلة الشائعة

هل Content-Signal جزء من معيار robots.txt؟

لا. يعرّف RFC 9309 الحقول User-agent وAllow وDisallow ويسمح للزواحف بتفسير سجلات أخرى. أما Content-Signal فمصدره سياسة Content Signals Policy من Cloudflare، الصادرة بترخيص CC0. وبشكل منفصل، تعمل مجموعة IETF AI Preferences على صياغة قاعدة Content-Usage خاصة بها لـ robots.txt، وهي ما زالت مسودة إنترنت لا معياراً.

هل يوقف ai-train=no زاحفَي GPTBot وClaudeBot؟

ليس بحسب ما يوثّقه المزوّدان. تصف OpenAI وAnthropic التحكم عبر قواعد robots.txt تذكر GPTBot وClaudeBot، ولا تذكر صفحة أي من الزاحفين Content-Signal. لرفض التدريب لدى أي منهما، امنع الرمز باسمه.

ما الفرق بين Content-Signal و__usage_ai-training؟

Content-Signal سطر داخل مجموعة ويغطي البحث ومدخلات الذكاء الاصطناعي والتدريب. أما __usage_ai-training فرمز سياسة يُستخدم كمجموعة User-Agent مستقلة ويغطي التدريب فقط. وقد نشرت Anthropic وMicrosoft وGoogle وOpenAI بيانات عن إشارة التدريب المشتركة، ولا يوثّق أي منها Content-Signal.

لماذا يقول Google Search Console إن Syntax not understood؟

تدعم وثائق robots.txt لدى Google الحقول user-agent وallow وdisallow وsitemap فقط، لذا قد تُعلَّم الأسطر الأخرى. وتقول Cloudflare إنها لم تلحظ أي أثر لهذه التنبيهات على معدلات الزحف أو SEO.

ماذا يعني use=reference؟

هو حقل رابع تختبره Cloudflare. تعني reference الفهرسة والاقتباس والربط بالمصدر. تضيفه Cloudflare إلى ملفات robots.txt المُدارة، ولا تذكره أي من وثائق الزواحف التي فحصناها.

المصادر

مقالات أخرى