كيف أختبر قواعد robots.txt لعنوان URL وزاحف محدد؟

تاريخ النشر

الإجابة المختصرة

لاختبار عنوان URL لزاحف واحد، ابحث عن المجموعة التي تسمّي رمز الزاحف (أو User-agent: * إن لم تسمّه أي مجموعة)، واجمع كل قواعد Allow وDisallow فيها التي تطابق مسار العنوان، وطبّق أطولها؛ وعند التساوي تفوز Allow. يمكنك فعل ذلك يدوياً، أو بمحلل Google مفتوح المصدر، أو بأداة فحص تعرض الحكم لكل زاحف. أداة اختبار robots.txt القديمة في Search Console لم تعد موجودة، وتقرير robots.txt الذي حلّ محلها يعرض ما جلبته Google، لا حكماً على عنوان URL.

يبدو ملف robots.txt بسيطاً إلى أن تحتاج إلى إجابة قاطعة: هل يجوز لـ GPTBot جلب هذه الصفحة، وهل يجوز لـ OAI-SearchBot؟ تتوقف الإجابة على المجموعة التي يختارها الزاحف والقاعدة التي تفوز داخلها، وكلتا الخطوتين يسهل الخطأ فيهما. إليك كيف تعمل المطابقة وفق RFC 9309، وأربعة أمثلة محلولة، وثلاث طرق لاختبار الملف بنفسك.

في هذه الصفحة
  1. ماذا حدث لأداة اختبار robots.txt في Google Search Console؟
  2. كيف يقرر الزاحف ما إذا كان عنوان URL مسموحاً؟
  3. هل يمكن شرح مثال على اختبار robots.txt خطوة بخطوة؟
  4. كيف أشغّل محلل robots.txt مفتوح المصدر من Google؟
  5. هل يمكنني اختبار robots.txt بمكتبة urllib.robotparser في Python؟
  6. لماذا ينجح اختبار robots.txt بينما يبقى الزاحف محظوراً؟
  7. كيف أفحص robots.txt لكل زواحف الذكاء الاصطناعي دفعة واحدة؟

ماذا حدث لأداة اختبار robots.txt في Google Search Console؟

في نوفمبر 2023 أضافت Google تقرير robots.txt إلى Search Console وأعلنت إيقاف أداة اختبار robots.txt. يقع التقرير ضمن الإعدادات ويغطي زواحف Google فقط. وهو يعرض:

لا يأخذ التقرير عنوان URL ليجيب بمسموح أو محظور. لفحص عنوان واحد لـ Googlebot تحيلك Google إلى أداة فحص عنوان URL، وللاختبار المحلي إلى مكتبة robots.txt مفتوحة المصدر لديها. ولا تخبرك أي منهما بشيء عن زواحف الذكاء الاصطناعي مثل GPTBot أو ClaudeBot.

كيف يقرر الزاحف ما إذا كان عنوان URL مسموحاً؟

يحدد RFC 9309، أي بروتوكول استبعاد الروبوتات (Robots Exclusion Protocol)، طريقة المطابقة. وتوثّق Google السلوك نفسه لزواحفها.

رمز استجابة robots.txt مهم بقدر قواعده. استجابة 4xx تعني أن الزاحف يجوز له جلب كل شيء؛ وتعامل Google كل رمز 4xx عدا 429 كأن الملف غير موجود. واستجابة 5xx تعني أن على الزاحف افتراض أن الموقع كله ممنوع. تتوقف Google عن الزحف في أول 12 ساعة، ثم تستخدم آخر نسخة سليمة لمدة تصل إلى 30 يوماً. ويُلزم RFC 9309 الزواحف بتحليل 500 KiB على الأقل، وتتجاهل Google كل ما بعد 500 KiB.

هل يمكن شرح مثال على اختبار robots.txt خطوة بخطوة؟

هذا ملف robots.txt صغير فيه مجموعة افتراضية وزاحفا ذكاء اصطناعي مسمّيان:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

حالات التساوي أندر لكنها تتبع المنطق نفسه. تذكر وثائق Google حالة allow: /folder وdisallow: /folder للعنوان /folder/page: كلتاهما بالطول نفسه، فيكون العنوان مسموحاً.

كيف أشغّل محلل robots.txt مفتوح المصدر من Google؟

تنشر Google مكتبة C++ التي تستخدمها في الإنتاج لمطابقة قواعد robots.txt، مع برنامج صغير لسطر الأوامر يختبر عنوان URL واحداً ووكيل مستخدم واحداً على ملف محلي. إذا كان Bazel مثبتاً:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

يوثّق المستودع أيضاً بناءً بـ CMake ينتج ملفاً تنفيذياً اسمه robots بالوسائط نفسها. الأداة تحلّل وتطابق فقط؛ ولا تنزّل robots.txt، فاحفظ الملف المنشور أولاً. ويذكر ملف README أيضاً أن السلوك الخاص بكل زاحف خارج التحليل والمطابقة ليس جزءاً من المكتبة.

هل يمكنني اختبار robots.txt بمكتبة urllib.robotparser في Python؟

تتضمن المكتبة القياسية في Python محللاً يجيب بمسموح أو محظور لوكيل مستخدم وعنوان URL. يختبر هذا السكربت المثال أعلاه:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

تحقق من إصدار Python قبل أن تثق بالنتيجة. أُضيف دعم المطابقة وفق RFC 9309 إلى CPython في 2026 وصدر أول مرة في Python 3.13.14 و3.14.5. أما الإصدارات الأقدم، بما فيها كل إصدارات 3.12 وما قبلها، فتطبّق أول قاعدة مطابقة بترتيب الملف لا الأطول، ولا تفهم * أو $ داخل المسارات. وعلى تلك الإصدارات يعطي السكربت الاختبارين الأول والرابع بالعكس: Googlebot محظور من /search/help/billing وOAI-SearchBot مسموح له بجلب ملف PDF.

وهناك فرقان آخران في كل الإصدارات. تعامل RobotFileParser.read() استجابة 401 أو 403 لملف robots.txt على أنها منع كامل، بينما يقول RFC 9309 إن 4xx تعني أن كل شيء يجوز جلبه. كما أن read() تنزّل الملف بوكيل المستخدم الافتراضي في Python، الذي تحظره بعض جدران الحماية، فقد يُظهر الاختبار حظراً لأسباب لا علاقة لها بقواعدك. وجلب الملف بنفسك وتمريره إلى parse()، كما في الأعلى، يتجنب المشكلتين.

لماذا ينجح اختبار robots.txt بينما يبقى الزاحف محظوراً؟

تجيب أداة الاختبار عن سؤال واحد: هل تسمح القواعد بهذا العنوان؟ وهناك أمور عدة خارج هذه الإجابة:

كيف أفحص robots.txt لكل زواحف الذكاء الاصطناعي دفعة واحدة؟

يأخذ فاحص robots.txt المجاني من AISeeWhy عنوان صفحة أو ملف robots.txt ملصوقاً، ويعرض لكل زاحف ذكاء اصطناعي وبحث ما إذا كان يجوز له جلب تلك الصفحة. ويكتب مولّد robots.txt المجاني ملفاً وفق اختياراتك، ويجلب الفحص المجاني الصفحة بصفتها 16 زاحفاً ليُظهر ما إذا كان جدار الحماية يحظر ما يسمح به robots.txt.

إصلاحات لهذه المشكلة

أدوات مجانية

الخطوات التالية

الزواحف في هذا المقال

الأسئلة الشائعة

هل ما زالت أداة اختبار robots.txt موجودة في Google Search Console؟

لا. استبدلتها Google في نوفمبر 2023 بتقرير robots.txt، الذي يعرض الملفات التي جلبتها Google وحالتها وأي أخطاء فيها. ولمعرفة ما إذا كان Googlebot يستطيع الزحف إلى عنوان URL محدد، استخدم أداة فحص عنوان URL.

هل تتغلب Allow على Disallow في robots.txt؟

فقط إذا كانت قاعدة Allow أطول أو مساوية في الطول تماماً. تفوز القاعدة ذات المسار المطابق الأطول أياً كان نوعها، وتفوز Allow عند التساوي.

هل ملف robots.txt حساس لحالة الأحرف؟

جزئياً. تُطابق قيمة User-agent دون اعتبار لحالة الأحرف، فيشير gptbot وGPTBot إلى المجموعة نفسها. أما المسارات فحساسة لحالة الأحرف، فلا تحظر Disallow: /Private/ المسار /private/.

ماذا يفحص مدقق robots.txt؟

يفحص المدقق أن الملف متاح ويُقدَّم كنص ومكتوب بصياغة صحيحة. أما أداة الاختبار فتذهب أبعد وتعطي حكماً لعنوان URL وزاحف محددين. وتحتاج عادةً إلى الاثنين، لأن الملف الصالح قد يحظر صفحة أردت السماح بها.

إذا كانت للزاحف مجموعة خاصة، فهل يتبع User-agent: * أيضاً؟

لا. المجموعة المسمّاة تحل محل مجموعة * بالكامل لذلك الزاحف. وكل قاعدة تريد تطبيقها على الجميع يجب تكرارها في كل مجموعة مسمّاة.

المصادر

مقالات أخرى