هل يرى ChatGPT موقعك؟ كيف تتحقق
يستطيع ChatGPT الاستشهاد بصفحتك فقط إذا كان مسموحاً لزاحف البحث التابع لـ OpenAI، وهو OAI-SearchBot، بجلبها، وإذا حصل على نفس HTML الذي يحصل عليه المتصفح. تحقق من ثلاثة أمور: ألا يمنع ملف robots.txt الزاحف OAI-SearchBot، وألا يردّ جدار الحماية أو شبكة CDN عليه بالرمز 403 أو بصفحة تحدٍّ، وأن يكون النص الأساسي موجوداً في HTML الأولي.
يسأل كثير من أصحاب المواقع ChatGPT عن منتجهم، فيجدون منافساً مذكوراً بدلاً منهم، ويتساءلون هل يصل ChatGPT إلى موقعهم أصلاً. للسؤال جواب محدد يمكن اختباره. تنشر OpenAI أسماء زواحفها ووظيفة كل منها، فيمكنك فحص كل حلقة في السلسلة: قواعد robots.txt، والاستجابة التي يرسلها خادمك، والمحتوى الموجود في هذه الاستجابة.
في هذه الصفحة
ما زواحف OpenAI المهمة لإجابات ChatGPT؟
توثّق OpenAI ثلاثة وكلاء يصادفهم أصحاب المواقع عادةً. لكل منها وظيفة مختلفة، ولا يؤدي حظر أحدها إلى حظر الآخرين. وتذكر OpenAI أن كل إعداد في robots.txt مستقل عن غيره.
OAI-SearchBotيعثر على الصفحات ويفهرسها لميزات البحث في ChatGPT. وتقول OpenAI إن المواقع التي تستبعد نفسها منه لن تظهر في إجابات بحث ChatGPT. وهذا هو الزاحف الذي يحدد إمكانية الاستشهاد بك.GPTBotيجمع محتوى قد يُستخدم لتدريب نماذج OpenAI الأساسية. منعه يعني أنك لا تريد استخدام محتواك في التدريب، لكنه لا يُخرجك من إجابات البحث.ChatGPT-Userيزور الصفحة عندما يطلب شخص ذلك من ChatGPT، مثلاً بلصق رابط. وتقول OpenAI إن قواعد robots.txt قد لا تنطبق على هذه الزيارات التي يطلقها المستخدم، وإن هذا الوكيل لا يُستخدم لتحديد ما يظهر في البحث.
خلاصة الأمر: OAI-SearchBot يتحكم في الاستشهادات، وGPTBot يتحكم في التدريب، وChatGPT-User يتولى الزيارات المباشرة بطلب من المستخدم.
كيف أفحص ملف robots.txt الخاص بي من أجل ChatGPT؟
افتح https://yourdomain.com/robots.txt في المتصفح وابحث عن مجموعة تذكر OAI-SearchBot. وإن لم توجد، فإن الزاحف يتبع مجموعة User-agent: *. أما Disallow: / في أي مجموعة تنطبق عليه فيحظر الموقع كله.
تحقق أيضاً من أن الملف يستجيب أصلاً. بحسب RFC 9309، إذا أعاد robots.txt خطأً من الخادم (5xx) أو تعذّر الوصول إليه، فعلى الزاحف أن يفترض أن الموقع كله ممنوع. أما الرمز 404 فلا مشكلة فيه: يعني أنه لا توجد قواعد. ومن الأخطاء الشائعة أن يعيد عنوان robots.txt صفحة HTML بالحالة 200، لأن الزواحف لا تجد فيها قواعد صالحة.
هذا إعداد يُبقي بحث ChatGPT ويمنع التدريب:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /تقول OpenAI إن تغييرات البحث قد تستغرق نحو 24 ساعة لتسري بعد تحديث robots.txt.
هل يستطيع جدار الحماية حظر ChatGPT رغم أن robots.txt يسمح له؟
نعم، وهذا سبب شائع. ملف robots.txt طلب موجّه إلى الزواحف الملتزمة وليس نظام تحكم بالوصول. جدار الحماية أو CDN أو أداة الحماية من الروبوتات هي التي تقرر ما يُرسل فعلاً. فإذا عاملت زاحف ذكاء اصطناعي كروبوت غير مرغوب، فسيحصل على 403 أو 429 أو صفحة تحدٍّ مثل شاشة Cloudflare «Just a moment...»، بينما يرى الناس في المتصفح الصفحة بشكل طبيعي.
من الخارج يبدو الموقع مفتوحاً للجميع. ولا يظهر الفرق إلا بطلب يعرّف نفسه بأنه الزاحف. عندها يقول robots.txt «نعم» ويقول الخادم «لا»، والكلمة الأخيرة للخادم.
كيف أختبر ما يحصل عليه OAI-SearchBot؟
أرسل طلبين إلى العنوان نفسه، أحدهما بوكيل مستخدم (user agent) لمتصفح والآخر بوكيل الزاحف، ثم قارن رمز الحالة والحجم. تنشر OpenAI مثالاً لوكيل المستخدم لكل زاحف، وقد يتغير رقم الإصدار فيه.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/pageإذا حصل المتصفح على 200 مع محتوى كبير، وحصل الزاحف على 403 أو 429 أو 503 أو على محتوى أصغر بكثير، فإن جدار الحماية يعامل الزاحف معاملة مختلفة. وهناك قيد واحد: اختبارك يأتي من عنوان IP الخاص بك وليس من عناوين OpenAI. فجدران الحماية التي تتحقق من الزواحف عبر نطاقات IP المنشورة (تنشرها OpenAI في openai.com/searchbot.json) قد تسمح للزاحف الحقيقي بالمرور وتحظر اختبارك. ومع ذلك فإن الحظر في هذا الاختبار يكشف كيف يعامل جدار الحماية وكيل المستخدم، وهذا يستحق الإصلاح.
ماذا لو تحمّلت الصفحة ولم يقدّم ChatGPT إجابة مفيدة؟
الوصول هو الخطوة الأولى فقط. إذا كان HTML الذي يصل هيكلاً فارغاً تملؤه JavaScript لاحقاً، فقد لا يتلقى الزاحف أي نص تقريباً. اطّلع على HTML الخام عبر curl أو عبر view-source في المتصفح: إذا لم يكن النص الأساسي موجوداً هناك، فالأرجح أن الزاحف لا يراه أيضاً.
بعد ذلك تأتي إشارات المحتوى: إجابة مختصرة واضحة قرب أعلى الصفحة، وعناوين تطابق الأسئلة التي يطرحها الناس، وناشر ومؤلف مذكوران بالاسم، وتواريخ ظاهرة. هذه لا تضمن الاستشهاد، لكنها تجعل الصفحة أسهل في الاقتباس الصحيح.
كيف يفحص AISeeWhy هذا الأمر؟
يجلب AISeeWhy صفحتك بوصفها OAI-SearchBot وGPTBot وChatGPT-User و11 زاحفاً آخر إلى جانب متصفح عادي، ويقرأ robots.txt وفق قواعد RFC 9309، ويسمّي جدار الحماية عندما يرد بحظر أو بتحدٍّ. وترافق كل ملاحظة حلاً جاهزاً للصق، ويعرض الفحص المجاني تقييمك وأول ملاحظة.
الأسئلة الشائعة
هل يؤدي حظر GPTBot إلى إزالة موقعي من بحث ChatGPT؟
لا. تعامل OpenAI إعداد كل زاحف على أنه مستقل. يتعلق GPTBot بالتدريب، بينما يحدد OAI-SearchBot ما إذا كان يمكن عرض الصفحات في إجابات بحث ChatGPT. يمكنك منع أحدهما والسماح بالآخر.
هل يلتزم ChatGPT-User بملف robots.txt؟
تقول OpenAI إن قواعد robots.txt قد لا تنطبق لأن هذه الزيارات يطلقها المستخدم. وإذا أردت إيقاف هذه الزيارات فإن قاعدة في robots.txt ليست وسيلة تحكم موثوقة.
كم يستغرق وصول تغيير robots.txt إلى ChatGPT؟
تقول OpenAI إن أنظمتها قد تحتاج إلى نحو 24 ساعة بعد تحديث robots.txt لتتكيّف في البحث.
هل يكفي أن يكون الموقع متاحاً حتى يُستشهد به؟
لا. الوصول يجعل الاستشهاد ممكناً لكنه لا يضمنه. ما تقوله الصفحة ومدى وضوحه يظلان يقرران ما إذا كانت ستُستخدم في إجابة.
المصادر
- OpenAI: نظرة عامة على زواحف OpenAI
- RFC 9309: بروتوكول استثناء الروبوتات
- Cloudflare: إدارة زواحف الذكاء الاصطناعي (AI Crawl Control)