كيف تمنع تدريب الذكاء الاصطناعي وتبقى في إجابات بحثه

Q: هل يزيل منع GPTBot موقعي من إجابات ChatGPT؟

لا. تقول OpenAI إن GPTBot مخصص للتدريب وإن كل إعداد في robots.txt مستقل. ويستخدم بحث ChatGPT الزاحف OAI-SearchBot؛ وما دام مسموحاً ولا يمنعه جدار الحماية لديك، تظل صفحاتك مؤهلة.

Q: هل يزيلني منع Google-Extended من AI Overviews؟

ليس بحسب وثائق Google. تقول Google إن Google-Extended لا يؤثر في الإدراج في بحث Google، وإن AI Overviews تعتمد على فهرس البحث. وتقدّم Google ضابطاً منفصلاً في Search Console لاستبعاد موقع من AI Overviews وAI Mode.

Q: هل يوجد سطر واحد يمنع كل تدريب الذكاء الاصطناعي؟

لا يوجد سطر معياري. يعبّر Content-Signal: ai-train=no عن التفضيل لكل الزواحف، لكن التزام الزاحف به يعتمد على الجهة المشغّلة. والطريقة الموثقة هي مجموعات مسماة لكل رمز تدريب.

تاريخ النشر 2026-11-12

الإجابة المختصرة

تستخدم معظم شركات الذكاء الاصطناعي رموزاً منفصلة في robots.txt للتدريب وللبحث. امنع رموز التدريب، مثل GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وmeta-externalagent وCCBot، واسمح برموز البحث والمستخدم، مثل OAI-SearchBot وClaude-SearchBot وPerplexityBot. وأضف سطر Content-Signal لتعبّر عن التفضيل نفسه بالكلمات.

يريد كثير من أصحاب المواقع أمرين معاً: ألا يُستخدم محتواهم في تدريب نماذج الذكاء الاصطناعي، وأن يعثر مساعدو الذكاء الاصطناعي على صفحاتهم ويقتبسوا منها ويربطوا بها. ولأن الشركات الكبرى باتت تفصل بين المهمتين عبر زواحف أو رموز مختلفة، يستطيع robots.txt التعبير عن الخيارين. لكن المشكلة أن الأسماء تختلف من شركة إلى أخرى، وأن بعض الشركات لا يلتزم بهذا النمط، وأن سطراً خاطئاً واحداً قد يُخرجك من إجابات الذكاء الاصطناعي بدلاً من بيانات التدريب.

في هذه الصفحة

ما الفرق بين زاحف التدريب وزاحف البحث؟
أي الرموز يتحكم في التدريب وأيها يتحكم في البحث؟
كيف يبدو ملف robots.txt؟
كم موقعاً يفعل ذلك بالفعل؟
ماذا يضيف Content-Signal؟
أين لا يعمل الفصل بشكل نظيف؟
كيف أتحقق من أن الفصل يعمل؟

ما الفرق بين زاحف التدريب وزاحف البحث؟

زاحف التدريب يجمع صفحات قد تُستخدم لبناء نماذج الذكاء الاصطناعي أو تحسينها. والتدريب وحده لا ينتج استشهاداً ولا رابطاً. أما زاحف البحث فيبني فهرساً يستخدمه مساعد الذكاء الاصطناعي للعثور على مصادر للإجابة، وهذه المصادر هي ما يمكنه أن يستشهد به. وأداة الجلب التي يطلقها المستخدم تفتح صفحة مباشرةً لأن شخصاً سأل عنها.

توثّق الشركات هذه الأدوار بشكل منفصل وتقول إن الإعدادات مستقلة. فتقول OpenAI مثلاً إن كل إعداد في robots.txt لزواحفها مستقل عن غيره. ولذلك فإن الاستبعاد من التدريب، إذا نُفّذ بشكل صحيح، لا يمس ظهورك في البحث.

أي الرموز يتحكم في التدريب وأيها يتحكم في البحث؟

هذه هي الرموز التي توثّقها الشركات، مجمّعة بحسب ما تتحكم فيه:

OpenAI: يزحف GPTBot المحتوى الذي قد يُستخدم لتدريب نماذجها الأساسية. وOAI-SearchBot مخصص لبحث ChatGPT، وChatGPT-User يتولى إجراءات المستخدم؛ وتقول OpenAI إن robots.txt قد لا ينطبق عليه.
Anthropic: يجمع ClaudeBot محتوى قد يسهم في التدريب. ويحسّن Claude-SearchBot نتائج بحث Claude، ويجلب Claude-User الصفحات للمستخدمين. وتقول Anthropic إن روبوتاتها تلتزم بـ robots.txt.
Google: Google-Extended رمز في robots.txt بلا زاحف خاص به. وهو يتحكم في الاستخدام لتدريب نماذج Gemini المستقبلية ولإسناد الإجابات في تطبيقات Gemini وVertex AI. وتقول Google إنه لا يؤثر في الإدراج أو الترتيب في بحث Google، الذي يتحكم فيه Googlebot.
Apple: Applebot-Extended لا يزحف؛ بل يتحكم في ما إذا كان المحتوى الذي زحفه Applebot يُستخدم لتدريب النماذج الأساسية لدى Apple. وتقول Apple إن الصفحات التي تمنعه يمكن أن تظهر مع ذلك في نتائج بحثها.
Meta: يزحف meta-externalagent لأغراض منها تدريب النماذج الأساسية، بينما يحسّن meta-webindexer نتائج بحث Meta AI.
Common Crawl: يبني CCBot أرشيف الويب العام لدى Common Crawl. وتدرجه قائمة robots.txt المُدارة من Cloudflare بين زواحف تدريب الذكاء الاصطناعي التي تمنعها.
Perplexity: يخدم PerplexityBot وPerplexity-User طلبات البحث والمستخدم. وتقول Perplexity إن أياً منهما لا يُستخدم لجمع بيانات التدريب، فلا يوجد رمز تدريب لدى Perplexity لتمنعه.

كيف يبدو ملف robots.txt؟

تشكّل عدة أسطر User-agent متتالية مجموعة واحدة بحسب RFC 9309، فتنطبق القواعد على كل منها. يستبعد هذا الملف رموز التدريب المذكورة أعلاه، ويسمح لوكلاء البحث والمستخدم، ويُبقي مساراً خاصاً مغلقاً للجميع:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

هناك أمران مهمان. الأول أن المجموعة المسماة لا ترث من *، فلا بد من تكرار أي مسارات خاصة في مجموعة البحث. والثاني ألا تضيف Googlebot أو Applebot إلى مجموعة التدريب: فهما زاحفا البحث، ومنعهما يُخرجك من بحث Google ومن ميزات البحث لدى Apple. والتغييرات ليست فورية: تقول OpenAI نحو 24 ساعة للبحث، وتقول Perplexity حتى 24 ساعة.

كم موقعاً يفعل ذلك بالفعل؟

أقل مما قد تتوقع. قرأنا ملفات robots.txt لأكثر 1000 نطاق شعبية في قائمة Tranco بتاريخ 2026-11-12. ومن بين 518 موقعاً قدّم robots.txt، يمنع 155 موقعاً (29.9%) الصفحة الرئيسية على زاحف تدريب واحد على الأقل. و57 موقعاً فقط (11.0%) تتبع الطريق الانتقائي: تمنع زواحف التدريب وتسمح بكل زواحف بحث الذكاء الاصطناعي والمستخدم التي اختبرناها. وفي المجمل، يمنع 101 موقع (19.5%) زاحف بحث أو مستخدم واحداً على الأقل.

وتُظهر الأرقام الخاصة بكل زاحف الانقسام نفسه. فـ GPTBot ممنوع في 111 موقعاً (21.4%) وOAI-SearchBot في 58 (11.2%). وClaudeBot ممنوع في 110 (21.2%) وClaude-SearchBot في 67 (12.9%). وGoogle-Extended ممنوع في 94 (18.1%) وGooglebot في 14 (2.7%). ولا يستخدم Content-Signal سوى 18 موقعاً (3.5%).

تنظر الدراسة في قواعد robots.txt للصفحة الرئيسية فقط. فهي لا تقيس الحظر في جدران الحماية، ولا تبيّن ما قصده كل موقع.

ماذا يضيف Content-Signal؟

Content Signals امتداد لـ robots.txt نشرته Cloudflare على contentsignals.org. يوضح سطر Content-Signal كيف يجوز استخدام المحتوى، عبر ثلاث إشارات: search (بناء فهرس بحث وعرض الروابط ومقتطفات قصيرة)، وai-input (إدخال المحتوى في نماذج الذكاء الاصطناعي لحظياً، مثل الإسناد أو الاسترجاع لإجابات توليدية)، وai-train (تدريب النماذج أو ضبطها).

لاحظ أن تعريف search يستثني ملخصات البحث التي يولّدها الذكاء الاصطناعي. فإذا أردت الظهور في إجابات الذكاء الاصطناعي فاضبط ai-input=yes أيضاً، كما في المثال أعلاه. وتضيف قائمة robots.txt المُدارة من Cloudflare search=yes, ai-train=no افتراضياً؛ والإشارة التي تتركها لا تمنح ذلك الاستخدام ولا تقيّده.

هذه تفضيلات معلنة. يقول موقع Content Signals إنها لا تمنع الزحف على المستوى التقني، وتشير Cloudflare إلى أن الالتزام بـ robots.txt طوعي. ولا تذكر أي من صفحات الزواحف لدى OpenAI وAnthropic وGoogle وPerplexity التي راجعناها هل تقرأ Content-Signal، ولذلك تعامل معه كإضافة إلى مجموعات كل زاحف لا كبديل عنها.

أين لا يعمل الفصل بشكل نظيف؟

بعض الحالات تتطلب عناية:

تعتمد ميزتا AI Overviews وAI Mode من Google على فهرس البحث الذي يبنيه Googlebot، فلا يُخرجك Google-Extended منها. وتضيف مساعدة Search Console لدى Google أن Google-Extended يحدّ من تدريب النماذج وراء ميزات الذكاء الاصطناعي التوليدي في البحث، وهو نطاق لا تذكره وثائق الزاحف الخاصة به. وتقدّم Google الآن إعداداً منفصلاً في Search Console لاستبعاد موقع من AI Overviews وAI Mode.
تقول OpenAI إنه إذا سمح موقع بكل من GPTBot وOAI-SearchBot، فقد تستخدم نتائج زحفة واحدة للغرضين. ومنع GPTBot هو ما يشير إلى أن المحتوى لا ينبغي استخدامه للتدريب.
الاستبعاد يسري مستقبلاً. فتصف Anthropic مثلاً منع ClaudeBot بأنه استبعاد لمحتوى موقعك المستقبلي من مجموعات بيانات التدريب.
أدوات الجلب التي يطلقها المستخدم في منطقة وسطى. تقول OpenAI وPerplexity إن robots.txt قد لا ينطبق على ChatGPT-User وإنه لا ينطبق عموماً على Perplexity-User.
جدران الحماية لا تقرأ robots.txt. وقاعدة واسعة لحظر الروبوتات قد توقف زواحف البحث التي سمحت بها. وإذا نفّذت حظر التدريب عند جدار الحماية، فطابق وكلاء التدريب بأسمائهم وتحقق منهم عبر نطاقات IP المنشورة.

كيف أتحقق من أن الفصل يعمل؟

اقرأ robots.txt كما يقرؤه كل زاحف: ابحث عن المجموعة التي تذكره، وارجع إلى * فقط إذا لم توجد، وطبّق القاعدة المطابقة الأطول. ثم اطلب صفحة بوكيل المستخدم الخاص بكل زاحف بحث وتأكد من أنه يحصل على 200 مع المحتوى الكامل، لا 403 ولا صفحة تحدٍّ.

يفعل AISeeWhy الأمرين لـ 14 زاحفاً مصنّفين إلى وكلاء تدريب وبحث ومستخدم، وينبّه إلى الخطأ الأشيع: منع رمز بحث مثل PerplexityBot أو Claude-SearchBot بينما المقصود منع التدريب.

الأسئلة الشائعة

هل يزيل منع GPTBot موقعي من إجابات ChatGPT؟

لا. تقول OpenAI إن GPTBot مخصص للتدريب وإن كل إعداد في robots.txt مستقل. ويستخدم بحث ChatGPT الزاحف OAI-SearchBot؛ وما دام مسموحاً ولا يمنعه جدار الحماية لديك، تظل صفحاتك مؤهلة.

هل يزيلني منع Google-Extended من AI Overviews؟

ليس بحسب وثائق Google. تقول Google إن Google-Extended لا يؤثر في الإدراج في بحث Google، وإن AI Overviews تعتمد على فهرس البحث. وتقدّم Google ضابطاً منفصلاً في Search Console لاستبعاد موقع من AI Overviews وAI Mode.

هل يوجد سطر واحد يمنع كل تدريب الذكاء الاصطناعي؟

لا يوجد سطر معياري. يعبّر Content-Signal: ai-train=no عن التفضيل لكل الزواحف، لكن التزام الزاحف به يعتمد على الجهة المشغّلة. والطريقة الموثقة هي مجموعات مسماة لكل رمز تدريب.

هل أمنع Perplexity لإيقاف تدريب الذكاء الاصطناعي؟

تقول Perplexity إن وكلاءها لا يُستخدمون لجمع بيانات التدريب. ومنع PerplexityBot يقلّل ظهورك في نتائج بحث Perplexity دون أن يحقق استبعاداً من التدريب.