چطور قوانین robots.txt را برای یک URL و یک خزنده خاص تست کنم؟

تاریخ انتشار

پاسخ کوتاه

برای تست یک URL برای یک خزنده، گروهی را پیدا کنید که توکن آن خزنده را نام می‌برد (یا اگر هیچ گروهی نام نمی‌برد، User-agent: *)، همه قوانین Allow و Disallow آن گروه را که با مسیر URL تطبیق دارند جمع کنید و طولانی‌ترین را اعمال کنید؛ در صورت تساوی، Allow برنده است. این کار را می‌توانید دستی، با پارسر متن‌باز Google یا با ابزاری انجام دهید که برای هر خزنده حکم جداگانه نشان می‌دهد. ابزار قدیمی robots.txt Tester در Search Console حذف شده است و گزارش robots.txt که جای آن را گرفت نشان می‌دهد Google چه چیزی دریافت کرده، نه حکمی برای یک URL.

فایل robots.txt ساده به نظر می‌رسد تا وقتی که به یک پاسخ قطعی نیاز دارید: آیا GPTBot اجازه دارد این صفحه را دریافت کند، و OAI-SearchBot چطور؟ پاسخ به این بستگی دارد که خزنده کدام گروه را انتخاب کند و کدام قانون در آن گروه برنده شود، و در هر دو مرحله اشتباه کردن آسان است. در اینجا نحوه تطبیق طبق RFC 9309، چهار مثال کامل و سه روش برای تست فایل توسط خودتان آمده است.

در این صفحه
  1. ابزار robots.txt Tester در Google Search Console چه شد؟
  2. خزنده چطور تصمیم می‌گیرد یک URL مجاز است یا نه؟
  3. می‌توانید یک مثال تست robots.txt را قدم‌به‌قدم نشان دهید؟
  4. چطور پارسر متن‌باز robots.txt گوگل را اجرا کنم؟
  5. آیا می‌توانم robots.txt را با urllib.robotparser پایتون تست کنم؟
  6. چرا تست robots.txt قبول می‌شود اما خزنده همچنان مسدود است؟
  7. چطور robots.txt را یک‌جا برای همه خزنده‌های هوش مصنوعی بررسی کنم؟

ابزار robots.txt Tester در Google Search Console چه شد؟

در نوامبر 2023، Google گزارش robots.txt را به Search Console اضافه کرد و اعلام کرد ابزار robots.txt tester را کنار می‌گذارد. این گزارش زیر Settings قرار دارد و فقط خزنده‌های Google را پوشش می‌دهد. نشان می‌دهد:

این گزارش یک URL نمی‌گیرد که پاسخ مجاز یا مسدود بدهد. برای بررسی یک URL برای Googlebot، Google به ابزار URL Inspection ارجاع می‌دهد و برای تست محلی به کتابخانه متن‌باز robots.txt خود. هیچ‌کدام چیزی درباره خزنده‌های هوش مصنوعی مثل GPTBot یا ClaudeBot به شما نمی‌گویند.

خزنده چطور تصمیم می‌گیرد یک URL مجاز است یا نه؟

RFC 9309، یعنی Robots Exclusion Protocol، تطبیق را تعریف می‌کند. Google همین رفتار را برای خزنده‌های خود مستند کرده است.

کد پاسخ robots.txt به اندازه قوانینش مهم است. پاسخ 4xx یعنی خزنده می‌تواند همه چیز را دریافت کند؛ Google همه کدهای 4xx به‌جز 429 را طوری در نظر می‌گیرد که انگار فایلی وجود ندارد. پاسخ 5xx یعنی خزنده باید فرض کند کل سایت ممنوع است. Google در 12 ساعت اول خزش را متوقف می‌کند و سپس تا 30 روز از آخرین نسخه سالم استفاده می‌کند. RFC 9309 خزنده‌ها را ملزم می‌کند دست‌کم 500 KiB را پردازش کنند، و Google هر چیزی پس از 500 KiB را نادیده می‌گیرد.

می‌توانید یک مثال تست robots.txt را قدم‌به‌قدم نشان دهید؟

این یک robots.txt کوچک با یک گروه پیش‌فرض و دو خزنده هوش مصنوعی نام‌دار است:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

تساوی کمتر پیش می‌آید اما از همین منطق پیروی می‌کند. مستندات Google حالت allow: /folder و disallow: /folder را برای URL /folder/page مثال می‌زند: هر دو هم‌طول‌اند، پس URL مجاز است.

چطور پارسر متن‌باز robots.txt گوگل را اجرا کنم؟

Google کتابخانه ++C را که در محیط عملیاتی برای تطبیق قوانین robots.txt استفاده می‌کند منتشر کرده است، همراه با یک برنامه خط فرمان کوچک برای تست یک URL و یک user agent در برابر یک فایل محلی. با Bazel نصب‌شده:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

مخزن همچنین ساخت با CMake را مستند کرده که یک فایل اجرایی به نام robots با همان آرگومان‌ها تولید می‌کند. این ابزار فقط پردازش و تطبیق می‌کند؛ robots.txt را دانلود نمی‌کند، پس اول فایل زنده را ذخیره کنید. README آن همچنین یادآوری می‌کند که رفتارهای خاص هر خزنده، خارج از پردازش و تطبیق، بخشی از کتابخانه نیست.

آیا می‌توانم robots.txt را با urllib.robotparser پایتون تست کنم؟

کتابخانه استاندارد پایتون پارسری دارد که برای یک user agent و یک URL پاسخ مجاز یا مسدود می‌دهد. این اسکریپت مثال بالا را تست می‌کند:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

پیش از اعتماد به خروجی، نسخه پایتون خود را بررسی کنید. پشتیبانی از تطبیق طبق RFC 9309 در سال 2026 به CPython اضافه شد و اولین بار در Python 3.13.14 و 3.14.5 عرضه شد. نسخه‌های قدیمی‌تر، از جمله همه نسخه‌های 3.12 و پیش از آن، اولین قانون منطبق را به ترتیب فایل اعمال می‌کنند، نه طولانی‌ترین را، و * یا $ را درون مسیرها نمی‌فهمند. در این نسخه‌ها اسکریپت تست اول و چهارم را برعکس گزارش می‌کند: Googlebot از /search/help/billing مسدود و OAI-SearchBot مجاز به دریافت PDF.

دو تفاوت دیگر برای همه نسخه‌ها صادق است. RobotFileParser.read() پاسخ 401 یا 403 برای robots.txt را به معنای ممنوعیت کامل می‌گیرد، در حالی که RFC 9309 می‌گوید 4xx یعنی همه چیز قابل دریافت است. و read() فایل را با user agent پیش‌فرض پایتون دانلود می‌کند که بعضی فایروال‌ها آن را مسدود می‌کنند، پس ممکن است تست به دلایلی بی‌ربط به قوانین شما «مسدود» گزارش کند. اگر فایل را خودتان دریافت کنید و به parse() بدهید، مثل بالا، از هر دو مشکل پرهیز می‌کنید.

چرا تست robots.txt قبول می‌شود اما خزنده همچنان مسدود است؟

ابزار تست به یک پرسش پاسخ می‌دهد: آیا قوانین این URL را مجاز می‌کنند؟ چند چیز خارج از این پاسخ است:

چطور robots.txt را یک‌جا برای همه خزنده‌های هوش مصنوعی بررسی کنم؟

بررسی‌کننده رایگان robots.txt در AISeeWhy نشانی یک صفحه یا متن robots.txt را می‌گیرد و برای هر خزنده هوش مصنوعی و جستجو نشان می‌دهد که آیا آن صفحه قابل دریافت است. سازنده رایگان robots.txt بر اساس انتخاب‌های شما فایل می‌نویسد، و بررسی رایگان صفحه را در نقش 16 خزنده دریافت می‌کند تا نشان دهد آیا فایروال چیزی را که robots.txt مجاز کرده مسدود می‌کند.

راه‌حل‌های این مشکل

ابزارهای رایگان

قدم‌های بعدی

خزنده‌های این مقاله

پرسش‌های متداول

آیا هنوز robots.txt tester در Google Search Console وجود دارد؟

نه. Google در نوامبر 2023 آن را با گزارش robots.txt جایگزین کرد که فایل‌های دریافت‌شده توسط Google، وضعیت آن‌ها و هر خطایی را نشان می‌دهد. برای بررسی اینکه Googlebot می‌تواند یک URL خاص را بخزد یا نه، از ابزار URL Inspection استفاده کنید.

آیا Allow در robots.txt بر Disallow غلبه می‌کند؟

فقط وقتی قانون Allow طولانی‌تر یا دقیقاً هم‌طول باشد. قانونی که طولانی‌ترین مسیر منطبق را دارد برنده است، از هر نوعی که باشد، و در تساوی Allow برنده است.

آیا robots.txt به بزرگی و کوچکی حروف حساس است؟

تا حدی. مقدار User-agent بدون توجه به بزرگی و کوچکی حروف تطبیق داده می‌شود، پس gptbot و GPTBot به یک گروه اشاره می‌کنند. مسیرها حساس‌اند، پس Disallow: /Private/ مسیر /private/ را مسدود نمی‌کند.

اعتبارسنج robots.txt چه چیزی را بررسی می‌کند؟

اعتبارسنج بررسی می‌کند که فایل در دسترس است، به‌صورت متن ارسال می‌شود و نحو معتبری دارد. ابزار تست فراتر می‌رود و برای یک URL و خزنده مشخص حکم می‌دهد. معمولاً به هر دو نیاز دارید، چون یک فایل معتبر هم ممکن است صفحه‌ای را که می‌خواستید مجاز باشد مسدود کند.

اگر خزنده‌ای گروه خودش را داشته باشد، باز هم از User-agent: * پیروی می‌کند؟

نه. یک گروه نام‌دار برای آن خزنده کاملاً جای گروه * را می‌گیرد. هر قانونی که می‌خواهید برای همه اعمال شود باید در هر گروه نام‌دار تکرار شود.

منابع

مقاله‌های دیگر