كيف تتحقق مما إذا كان موقع يحظر زواحف الذكاء الاصطناعي
الصق أي عنوان لترى هل يحظر GPTBot وClaudeBot وPerplexityBot وغيرها من زواحف الذكاء الاصطناعي: في robots.txt أو في جدار الحماية أو في كليهما.
مجاني · بلا تسجيل · النتيجة خلال 30 ثانية
الزواحف المحظورة
تُعرض زواحف التدريب والبحث والمستخدم كلٌّ على حدة، لأن حظر GPTBot لا يحظر OAI-SearchBot، وحظر ClaudeBot لا يحظر Claude-SearchBot.
السطر الذي يحسم النتيجة
يُقرأ robots.txt لكل زاحف وفق قواعد RFC 9309: المجموعة التي تذكره بالاسم، أو User-agent: * بديلاً عنها، ثم القاعدة التي تسري.
رفض جدار الحماية
تُطلب الصفحة بصفة 14 زاحفاً وبصفة متصفح عادي. تُرصد حالات الحظر وصفحات التحدي، ويُذكر اسم جدار الحماية الذي ردّ.
حل لكل نتيجة
تأتي كل نتيجة مع التغيير المطلوب. يعرض الفحص المجاني درجتك وأول نتيجة، أما التقرير الكامل فبسعر $29 مرة واحدة.
يمكن للموقع أن يحظر زواحف الذكاء الاصطناعي في مكانين: ملف robots.txt الذي يطلب من الزواحف الابتعاد، والخادم أو جدار الحماية الذي يرفضها فعلاً. ابحث في robots.txt عن رمز كل زاحف، وإن لم تجده فعن مجموعة User-agent: *، ثم اجلب الصفحة باسم الزاحف وقارن النتيجة بما يحصل عليه المتصفح. وتؤدي إضافة للمتصفح جزء robots.txt لـ 16 زاحفاً من زواحف الذكاء الاصطناعي بنقرة واحدة.
تحقق يدوياً في 3 خطوات
- اختر الزاحف
لكل شركة ذكاء اصطناعي زواحف منفصلة. للتدريب:
GPTBotوClaudeBot. للبحث:OAI-SearchBotوClaude-SearchBotوPerplexityBot. بطلب من المستخدم:ChatGPT-UserوClaude-UserوPerplexity-User. - اقرأ robots.txt لهذا الزاحف
افتح
https://example.com/robots.txtوابحث عن المجموعة التي تذكر الزاحف بالاسم. وإن لم توجد فتسري مجموعةUser-agent: *، وإن لم توجد أيضاً فكل شيء مسموح. - اجلب الصفحة باسم الزاحف
اطلب الصفحة بوكيل مستخدم الزاحف وقارن الحالة والحجم بما يحصل عليه المتصفح. الرمز 403 أو صفحة التحدي أو استجابة 200 أصغر بكثير تعني أن جدار الحماية يرفضه.
الأسئلة الشائعة
هل الموقع الذي ليس فيه robots.txt مفتوح لزواحف الذكاء الاصطناعي؟
نعم، فيما يخص robots.txt. يعني الرمز 404 لملف robots.txt عدم وجود قواعد، لذا يجوز لكل زاحف أن يجلب كل صفحة. ومع ذلك يمكن لجدار الحماية أن يحظر الزواحف.
هل تعرض الإضافة حالات الحظر من جدار الحماية؟
لا. فهي تقرأ robots.txt من متصفحك، وهذا يبيّن ما يطلبه الموقع من الزواحف. أما حالات الحظر من جدار الحماية والحماية من البوتات فتحتاج إلى طلب يُرسل باسم الزاحف، وهذا ما يقوم به الفحص الكامل على aiseewhy.com.
هل يمكنني فحص موقع لا أملكه؟
نعم. ملف robots.txt عام، والإضافة لا تقرأ إلا ملفي robots.txt وllms.txt اللذين ينشرهما الموقع، وهما الملفان نفسهما اللذان يقرؤهما كل زاحف.
اقرأ الدليل الكامل
سواء كنت تفحص موقعك بعد تغيير ما أو تنظر في موقع شخص آخر قبل أن تعتمد عليه، فإن سؤال «هل يحظر هذا الموقع زواحف الذكاء الاصطناعي؟» له إجابة دقيقة. وهي تتوقف على الزاحف الذي تقصده، لأن شركات الذكاء الاصطناعي تشغّل زواحف منفصلة للتدريب وللبحث وللزيارات المباشرة، ويمكن للموقع أن يعامل كلاً منها بطريقة مختلفة. يعرض هذا الدليل ثلاث طرق للفحص، من الأسرع إلى الأشمل.
أين يمكن للموقع أن يحظر زواحف الذكاء الاصطناعي؟
هناك ثلاث طبقات، وعلى الزاحف أن يجتازها كلها ليستخدم الصفحة.
- ملف robots.txt: ملف قواعد عام تقرؤه الزواحف الملتزمة قبل أن تجلب أي شيء. إنه طلب وليس قفلاً.
- الخادم أو شبكة CDN أو جدار الحماية: هنا يتقرر ما يُرسل فعلاً. يمكن لقاعدة حماية من البوتات أن تردّ على الزاحف بالرمز 403 أو 429 أو بصفحة تحدٍّ حتى لو سمح له robots.txt.
- الصفحة نفسها: إذا لم يظهر النص الأساسي إلا بعد تشغيل JavaScript، فإن الزاحف الذي يقرأ HTML الأولي يحصل على صفحة شبه فارغة، مع أن شيئاً لم يحظره.
معظم طرق الفحص السريعة لا تنظر إلا إلى الطبقة الأولى. وهذه بداية جيدة ما دمت تتذكر الطبقتين الأخريين.
كيف أقرأ robots.txt لزاحف واحد من زواحف الذكاء الاصطناعي؟
افتح https://example.com/robots.txt في المتصفح وابحث عن المجموعة التي تنطبق على الزاحف. تبدأ المجموعة بسطر User-agent واحد أو أكثر. يستخدم الزاحف المجموعة التي تذكر رمزه بالاسم، مثل GPTBot، والمطابقة لا تفرّق بين الأحرف الكبيرة والصغيرة. وإذا لم تذكره أي مجموعة، يستخدم مجموعة User-agent: *. وإذا لم توجد أي منهما، فكل شيء مسموح.
داخل المجموعة، تفوز القاعدة ذات المسار المطابق الأطول، وعندما يتساوى طول Allow وDisallow، تفوز Allow. لذلك يحظر الملف أدناه GPTBot من الموقع كله لكنه يسمح بدخول كل الزواحف الأخرى:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / انظر أيضاً إلى طريقة استجابة الملف. بحسب RFC 9309، يعني الرمز 404 عدم وجود قواعد، أي أن كل شيء مسموح. أما خطأ الخادم (5xx) أو غياب الرد تماماً فيعني أن على الزاحف اعتبار الموقع كله ممنوعاً. ومن الأخطاء الشائعة أن يعيد عنوان robots.txt صفحة HTML، فلا تجد الزواحف فيه أي قواعد صالحة.
كيف أفحص كل زواحف الذكاء الاصطناعي مرة واحدة؟
تصبح قراءة الملف يدوياً بطيئة حين يهمك أكثر من زاحف واحد. فكل شركة ذكاء اصطناعي تشغّل عدة زواحف لمهام مختلفة:
- زواحف التدريب تجمع المحتوى لتدريب النماذج:
GPTBotوClaudeBotوCCBotوBytespiderوmeta-externalagent، إضافة إلى الرمزينGoogle-ExtendedوApplebot-Extendedاللذين لا يظهران إلا في robots.txt. - زواحف البحث تفهرس الصفحات كي تتمكن إجابات الذكاء الاصطناعي من الاستشهاد بها:
OAI-SearchBotوClaude-SearchBotوPerplexityBot. - زواحف المستخدم تجلب الصفحة حين يطلب شخص ذلك من المساعد:
ChatGPT-UserوClaude-UserوPerplexity-User.
تقوم إضافة «فاحص زواحف الذكاء الاصطناعي» المجانية لمتصفح Chrome بذلك بنقرة واحدة. افتح أي صفحة وانقر على الأيقونة، فتقرأ الإضافة ملف robots.txt لذلك الموقع وتعرض لكل واحد من الزواحف الـ 16 ما إذا كانت الصفحة مسموحة وأي سطر يحدد ذلك. كما تعرض تفضيلات Content-Signal، وما إذا كان للموقع ملف llms.txt، وخرائط الموقع المذكورة في robots.txt. تعمل في متصفحك، ولا تحتاج إلى حساب، ولا تقرأ إلا الموقع الذي تنقر عليها فيه.
ومن دون Chrome، يقدّم فاحص robots.txt المجاني على aiseewhy.com الإجابة نفسها لأي عنوان URL تلصقه.
كيف أتحقق مما إذا كان جدار الحماية يسمح لها بالمرور؟
يُظهر robots.txt ما يطلبه الموقع. ولترى ما يحصل عليه الزاحف فعلاً، اطلب الصفحة مرتين، مرة كمتصفح ومرة بوكيل المستخدم (user agent) الخاص بالزاحف، وقارن رمز الحالة وحجم الاستجابة:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page إذا حصل المتصفح على 200 وحصل الزاحف على 403 أو 429 أو 503، أو على صفحة أصغر بكثير، فإن جدار حماية أو نظام حماية من البوتات يعامل الزاحف بطريقة مختلفة. ولكل اختبار خارجي حدّ واحد: الطلب يصدر من شبكتك لا من شبكة شركة الذكاء الاصطناعي. فجدار الحماية الذي يثق بالزواحف بحسب عناوين IP المنشورة لها قد يعامل الزاحف الحقيقي بطريقة مختلفة، ولذلك تبقى سجلات خادمك هي الفيصل.
أما الفحص الكامل على aiseewhy.com فيجلب الصفحة باسم كل الزواحف الـ 16 إلى جانب متصفح حقيقي، ويسمّي جدار الحماية أو القاعدة التي تحظر الزاحف، ويقارن النص الذي حصل عليه كل منها.
ما النتيجة التي يجب أن أسعى إليها؟
يتوقف ذلك على ما تريده. إذا أردت أن يُستشهد بك في بحث ChatGPT وفي Claude وPerplexity، فيجب أن تكون زواحف البحث والمستخدم مسموحة في robots.txt وأن تحصل على الصفحة الحقيقية من الخادم. وإذا لم ترد أن يُستخدم محتواك في التدريب، فاحظر رموز التدريب فقط. هذان خياران منفصلان: حظر GPTBot لا يحظر OAI-SearchBot، وحظر ClaudeBot لا يحظر Claude-SearchBot.
كثير من المواقع تخلط بينهما. في تقريرنا لشهر نوفمبر 2026 عن أشهر 1,000 نطاق، تحظر 63% من المواقع التي تحظر زاحف تدريب أيضاً زاحفاً واحداً على الأقل من زواحف البحث أو المستخدم، ما يُبقي صفحاتها خارج إجابات الذكاء الاصطناعي تلك.
الخطوات التالية
- أداة اختبار وفحص robots.txt لزواحف الذكاء الاصطناعي
- فاحص ومدقق llms.txt
- اطّلع على مثال لتقرير كامل
- مراقبة زواحف الذكاء الاصطناعي
- الخطط والأسعار
الزواحف في هذا المقال
المصادر
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google: Common crawlers, including Google-Extended
- AISeeWhy: تقرير وصول زواحف الذكاء الاصطناعي، 2026-11