شرح زواحف OpenAI: GPTBot وOAI-SearchBot وChatGPT-User
تستخدم OpenAI الزاحف GPTBot لجمع محتوى قد يُستخدم لتدريب نماذجها، وOAI-SearchBot لفهرسة الصفحات لبحث ChatGPT، وChatGPT-User للزيارات التي يطلبها شخص ما. حظر GPTBot يستبعدك من التدريب فقط. أما حظر OAI-SearchBot فيُخرجك من إجابات بحث ChatGPT. وقد لا ينطبق robots.txt على ChatGPT-User.
ثلاثة وكلاء مستخدم من شركة واحدة، لكل منها رمز خاص في robots.txt، يسببون كثيراً من الالتباس. حظر مواقع كثيرة GPTBot عند ظهوره، واكتشف بعضها لاحقاً أنه حظر أيضاً الزاحف الذي يحدد ما إذا كان ChatGPT يستطيع الاستشهاد به، وغالباً بسبب قاعدة واسعة في جدار الحماية. يستعرض هذا المقال كل وكيل اعتماداً على وثائق OpenAI نفسها.
في هذه الصفحة
ما وظيفة GPTBot؟
يزحف GPTBot إلى محتوى قد يُستخدم لتدريب نماذج الذكاء الاصطناعي التوليدي الأساسية لدى OpenAI. وتقول وثائق OpenAI إن منع GPTBot يدل على أن محتوى الموقع يجب ألا يُستخدم في تدريب تلك النماذج.
يحتوي وكيل المستخدم الخاص به على الرمز GPTBot، مثلاً Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. وتشير OpenAI إلى أن رقم الإصدار قد يتغير، فطابِق الرمز لا السلسلة كاملة. وتنشر OpenAI نطاقات IP الخاصة بها في openai.com/gptbot.json.
السماح له أو منعه قرار سياسة. بعض الناشرين يريدون محتواهم ضمن بيانات التدريب، وآخرون لا يريدون ذلك. حظره لا يؤثر في بحث ChatGPT لأن الزاحف هناك مختلف. وإذا غيّرت رأيك لاحقاً، يكفي حذف سطر Disallow؛ فلا شيء يستدعي التسجيل أو تقديم طلب.
ما وظيفة OAI-SearchBot؟
OAI-SearchBot هو زاحف البحث لدى OpenAI. وهو يُظهر المواقع في ميزات البحث في ChatGPT. وتنص OpenAI صراحةً على أن المواقع التي تستبعد نفسها من OAI-SearchBot لن تظهر في إجابات بحث ChatGPT.
إذا أردت أن يستشهد ChatGPT بصفحاتك، فهذا هو الزاحف الذي يجب السماح له، في robots.txt وفي جدار الحماية معاً. وتُنشر نطاقات IP الخاصة به في openai.com/searchbot.json، مما يتيح لجدار الحماية التحقق من أن الطلب يأتي فعلاً من OpenAI.
ما وظيفة ChatGPT-User؟
ChatGPT-User ليس زاحفاً بالمعنى المعتاد. فهو يجلب صفحة عندما يطلب ذلك مستخدم ChatGPT أو GPT مخصّص، مثلاً عندما يلصق شخص رابطك في محادثة ويطلب تلخيصاً. وتقول OpenAI إنه لا يُستخدم في الزحف التلقائي إلى الويب.
هناك تفصيلان في وثائق OpenAI مهمان هنا. الأول أن قواعد robots.txt قد لا تنطبق لأن هذه الإجراءات يطلقها المستخدم. والثاني أن ChatGPT-User لا يُستخدم لتحديد ما يجوز ظهوره في البحث. وفي البحث، الإعداد الذي يُعتدّ به هو OAI-SearchBot.
ماذا يحدث عندما أحظر كل واحد منها؟
- حظر
GPTBot: يُعلَّم محتواك بأنه غير مخصص للتدريب. ويظل بحث ChatGPT قادراً على عرضك والاستشهاد بك إذا كانOAI-SearchBotمسموحاً. - حظر
OAI-SearchBot: لن تظهر صفحاتك في إجابات بحث ChatGPT. أما التدريب فيتحكم فيهGPTBotبشكل منفصل. - حظر
ChatGPT-Userفي robots.txt: تقول OpenAI إن robots.txt قد لا ينطبق على هذه الزيارات، فالأثر غير مضمون. أما حظره في جدار الحماية فيوقف الجلب، ويحصل المستخدمون الذين يلصقون رابطك على خطأ بدلاً من المحتوى. - حظر الثلاثة في جدار الحماية: لا يستطيع ChatGPT فهرسة صفحاتك ولا جلبها، فلا يجد لديه ما يقتبسه منك.
- السماح للثلاثة: يمكن فهرسة صفحاتك للبحث، وجلبها عند الطلب، واستخدامها في التدريب عبر
GPTBot.
وتذكر OpenAI أيضاً أنه عند السماح لكل من GPTBot وOAI-SearchBot قد تستخدم نتائج زحف واحد للغرضين معاً لتتجنب الزحف مرتين.
ما ملف robots.txt الذي أستخدمه لزواحف OpenAI؟
لمعظم المواقع التي تريد الظهور في إجابات ChatGPT: اسمح لزاحف البحث، وقرّر بشكل منفصل بشأن التدريب. يسمح هذا الملف بالبحث ويستبعد التدريب:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/انتبه إلى تفصيل في RFC 9309: يتبع الزاحف المجموعة التي تذكره بالاسم ويتجاهل مجموعة *. في المثال أعلاه سيُسمح لـ OAI-SearchBot بدخول /admin/ لأن مجموعته لا تحتوي على السطر Disallow: /admin/. كرّر المسارات التي تريدها خاصة في كل مجموعة مسمّاة. وتقول OpenAI إن تغييرات البحث قد تستغرق نحو 24 ساعة لتُطبَّق.
كيف أتأكد من أن جدار الحماية يسمح لها بالمرور؟
robots.txt يعلن سياستك فقط. أما جدار الحماية أو CDN فيقرر ما يتلقاه كل طلب فعلاً. اطلب صفحة بوكيل مستخدم كل زاحف وقارن رمز الحالة وحجم المحتوى بطلب من متصفح. إذا حصل الزاحف على 403 أو 429 أو صفحة تحدٍّ بينما يحصل المتصفح على صفحة عادية، فهذا يعني أن جدار الحماية يتجاوز ملف robots.txt الخاص بك.
يجري AISeeWhy هذه المقارنة لوكلاء OpenAI الثلاثة دفعة واحدة، ويصنّف حظر OAI-SearchBot وChatGPT-User بوصفه P1 لأنه يكلّفك الاستشهادات، ويعرض حظر GPTBot بوصفه P3 أي خياراً في السياسة وليس خطأً.
الأسئلة الشائعة
هل GPTBot هو نفسه ChatGPT؟
لا. GPTBot زاحف لجمع بيانات التدريب. أما بحث ChatGPT فيستخدم OAI-SearchBot، والزيارات المباشرة التي يطلبها المستخدمون تأتي من ChatGPT-User.
هل أستطيع السماح ببحث ChatGPT ومنع التدريب؟
نعم. اسمح لـ OAI-SearchBot وامنع GPTBot في robots.txt. وتوثّق OpenAI الإعدادين على أنهما مستقلان.
هل أحظر OpenAI حسب عنوان IP؟
الحظر بحسب IP يمنع الزاحف من قراءة robots.txt ويجعل تغيير سياستك أصعب. الأفضل عادةً أن تعلن السياسة في robots.txt وأن تستخدم نطاقات IP المنشورة للتحقق من زواحف OpenAI لا لحظرها.
لماذا أطابق الرمز وليس وكيل المستخدم كاملاً؟
تقول OpenAI إن رقم الإصدار في وكلاء المستخدم لديها قد يتغير، وإن السلاسل التي تنشرها كأمثلة تختلف بين الزواحف. القواعد التي تطابق GPTBot أو OAI-SearchBot تواصل العمل بعد أي تحديث، أما القواعد التي تطابق السلسلة بحروفها فقد تتوقف عن المطابقة دون أن تلاحظ.