چطور قوانین robots.txt را برای یک URL و یک خزنده خاص تست کنم؟
برای تست یک URL برای یک خزنده، گروهی را پیدا کنید که توکن آن خزنده را نام میبرد (یا اگر هیچ گروهی نام نمیبرد، User-agent: *)، همه قوانین Allow و Disallow آن گروه را که با مسیر URL تطبیق دارند جمع کنید و طولانیترین را اعمال کنید؛ در صورت تساوی، Allow برنده است. این کار را میتوانید دستی، با پارسر متنباز Google یا با ابزاری انجام دهید که برای هر خزنده حکم جداگانه نشان میدهد. ابزار قدیمی robots.txt Tester در Search Console حذف شده است و گزارش robots.txt که جای آن را گرفت نشان میدهد Google چه چیزی دریافت کرده، نه حکمی برای یک URL.
فایل robots.txt ساده به نظر میرسد تا وقتی که به یک پاسخ قطعی نیاز دارید: آیا GPTBot اجازه دارد این صفحه را دریافت کند، و OAI-SearchBot چطور؟ پاسخ به این بستگی دارد که خزنده کدام گروه را انتخاب کند و کدام قانون در آن گروه برنده شود، و در هر دو مرحله اشتباه کردن آسان است. در اینجا نحوه تطبیق طبق RFC 9309، چهار مثال کامل و سه روش برای تست فایل توسط خودتان آمده است.
در این صفحه
- ابزار robots.txt Tester در Google Search Console چه شد؟
- خزنده چطور تصمیم میگیرد یک URL مجاز است یا نه؟
- میتوانید یک مثال تست robots.txt را قدمبهقدم نشان دهید؟
- چطور پارسر متنباز robots.txt گوگل را اجرا کنم؟
- آیا میتوانم robots.txt را با urllib.robotparser پایتون تست کنم؟
- چرا تست robots.txt قبول میشود اما خزنده همچنان مسدود است؟
- چطور robots.txt را یکجا برای همه خزندههای هوش مصنوعی بررسی کنم؟
ابزار robots.txt Tester در Google Search Console چه شد؟
در نوامبر 2023، Google گزارش robots.txt را به Search Console اضافه کرد و اعلام کرد ابزار robots.txt tester را کنار میگذارد. این گزارش زیر Settings قرار دارد و فقط خزندههای Google را پوشش میدهد. نشان میدهد:
- فایلهای robots.txt که Google برای 20 هاست اصلی property شما پیدا کرده است.
- وضعیت دریافت هر فایل (
Fetched،Not Fetched - Not found (404)یاNot Fetched - Any other reason)، آخرین باری که Google آن را بررسی کرده و اندازه آن به بایت. - مشکلات فایل. Google میگوید خطاها مانع استفاده از یک قانون میشوند، اما هشدارها نه.
- نسخههایی که Google در 30 روز گذشته دریافت کرده و دکمهای برای درخواست خزش دوباره پس از اصلاح فایل.
این گزارش یک URL نمیگیرد که پاسخ مجاز یا مسدود بدهد. برای بررسی یک URL برای Googlebot، Google به ابزار URL Inspection ارجاع میدهد و برای تست محلی به کتابخانه متنباز robots.txt خود. هیچکدام چیزی درباره خزندههای هوش مصنوعی مثل GPTBot یا ClaudeBot به شما نمیگویند.
خزنده چطور تصمیم میگیرد یک URL مجاز است یا نه؟
RFC 9309، یعنی Robots Exclusion Protocol، تطبیق را تعریف میکند. Google همین رفتار را برای خزندههای خود مستند کرده است.
- انتخاب گروه. تطبیق user-agent به بزرگی و کوچکی حروف حساس نیست. اگر یک یا چند گروه توکن خزنده را نام ببرند، قوانین آنها با هم ترکیب میشوند و گروه
User-agent: *کاملاً نادیده گرفته میشود. فقط خزندهای که گروه نامدار ندارد از*پیروی میکند. - انتخاب قانون. از میان قوانین
AllowوDisallowکه مسیرشان با URL تطبیق دارد، قانونی که بیشترین کاراکتر را دارد برنده است. اگر یکAllowو یکDisallowهمطول باشند،Allowباید برنده شود. - خواندن الگوها.
*با هر رشتهای از کاراکترها تطبیق دارد و$پایان URL را مشخص میکند. مسیرها به بزرگی و کوچکی حروف حساساند، پس/Admin/با/admin/تطبیق ندارد. - نبود قانون منطبق یعنی مجاز. خود
/robots.txtهمیشه مجاز است.
کد پاسخ robots.txt به اندازه قوانینش مهم است. پاسخ 4xx یعنی خزنده میتواند همه چیز را دریافت کند؛ Google همه کدهای 4xx بهجز 429 را طوری در نظر میگیرد که انگار فایلی وجود ندارد. پاسخ 5xx یعنی خزنده باید فرض کند کل سایت ممنوع است. Google در 12 ساعت اول خزش را متوقف میکند و سپس تا 30 روز از آخرین نسخه سالم استفاده میکند. RFC 9309 خزندهها را ملزم میکند دستکم 500 KiB را پردازش کنند، و Google هر چیزی پس از 500 KiB را نادیده میگیرد.
میتوانید یک مثال تست robots.txt را قدمبهقدم نشان دهید؟
این یک robots.txt کوچک با یک گروه پیشفرض و دو خزنده هوش مصنوعی نامدار است:
Googlebotو/search/help/billing: مجاز. گروهی برای Googlebot وجود ندارد، پس گروه*اعمال میشود.Disallow: /searchوAllow: /search/helpهر دو تطبیق دارند و قانونAllowطولانیتر است.GPTBotو/blog/post: مسدود. GPTBot گروه خودش را دارد وDisallow: /با همه مسیرها تطبیق دارد.OAI-SearchBotو/admin/settings: مجاز. OAI-SearchBot گروه خودش را دارد، پسDisallow: /admin/در گروه*روی آن اعمال نمیشود. این رایجترین غافلگیری است؛ قوانین مشترک را در هر گروه نامدار تکرار کنید.OAI-SearchBotو/files/report.pdf: مسدود.Allow: /با یک کاراکتر تطبیق دارد،Disallow: /*.pdf$با هفت کاراکتر، و قانون طولانیتر برنده است.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ تساوی کمتر پیش میآید اما از همین منطق پیروی میکند. مستندات Google حالت allow: /folder و disallow: /folder را برای URL /folder/page مثال میزند: هر دو همطولاند، پس URL مجاز است.
چطور پارسر متنباز robots.txt گوگل را اجرا کنم؟
Google کتابخانه ++C را که در محیط عملیاتی برای تطبیق قوانین robots.txt استفاده میکند منتشر کرده است، همراه با یک برنامه خط فرمان کوچک برای تست یک URL و یک user agent در برابر یک فایل محلی. با Bazel نصبشده:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed مخزن همچنین ساخت با CMake را مستند کرده که یک فایل اجرایی به نام robots با همان آرگومانها تولید میکند. این ابزار فقط پردازش و تطبیق میکند؛ robots.txt را دانلود نمیکند، پس اول فایل زنده را ذخیره کنید. README آن همچنین یادآوری میکند که رفتارهای خاص هر خزنده، خارج از پردازش و تطبیق، بخشی از کتابخانه نیست.
آیا میتوانم robots.txt را با urllib.robotparser پایتون تست کنم؟
کتابخانه استاندارد پایتون پارسری دارد که برای یک user agent و یک URL پاسخ مجاز یا مسدود میدهد. این اسکریپت مثال بالا را تست میکند:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") پیش از اعتماد به خروجی، نسخه پایتون خود را بررسی کنید. پشتیبانی از تطبیق طبق RFC 9309 در سال 2026 به CPython اضافه شد و اولین بار در Python 3.13.14 و 3.14.5 عرضه شد. نسخههای قدیمیتر، از جمله همه نسخههای 3.12 و پیش از آن، اولین قانون منطبق را به ترتیب فایل اعمال میکنند، نه طولانیترین را، و * یا $ را درون مسیرها نمیفهمند. در این نسخهها اسکریپت تست اول و چهارم را برعکس گزارش میکند: Googlebot از /search/help/billing مسدود و OAI-SearchBot مجاز به دریافت PDF.
دو تفاوت دیگر برای همه نسخهها صادق است. RobotFileParser.read() پاسخ 401 یا 403 برای robots.txt را به معنای ممنوعیت کامل میگیرد، در حالی که RFC 9309 میگوید 4xx یعنی همه چیز قابل دریافت است. و read() فایل را با user agent پیشفرض پایتون دانلود میکند که بعضی فایروالها آن را مسدود میکنند، پس ممکن است تست به دلایلی بیربط به قوانین شما «مسدود» گزارش کند. اگر فایل را خودتان دریافت کنید و به parse() بدهید، مثل بالا، از هر دو مشکل پرهیز میکنید.
چرا تست robots.txt قبول میشود اما خزنده همچنان مسدود است؟
ابزار تست به یک پرسش پاسخ میدهد: آیا قوانین این URL را مجاز میکنند؟ چند چیز خارج از این پاسخ است:
- فایل زنده با فایلی که تست کردید فرق دارد، یا خزنده هنوز از نسخه کششده استفاده میکند. RFC 9309 میگوید خزندهها نباید بیش از 24 ساعت از نسخه کششده استفاده کنند، و Google بهطور کلی تا 24 ساعت کش میکند.
- URL فایل robots.txt یک صفحه HTML یا خطا برمیگرداند. صفحه HTML با وضعیت 200 هیچ قانون معتبری ندارد و پاسخ 5xx کل سایت را مسدود میکند.
- robots.txt یک درخواست است، نه کنترل دسترسی. فایروال، CDN یا محافظ ربات همچنان میتواند به خزنده خطای 403 یا صفحه چالش بدهد.
چطور robots.txt را یکجا برای همه خزندههای هوش مصنوعی بررسی کنم؟
بررسیکننده رایگان robots.txt در AISeeWhy نشانی یک صفحه یا متن robots.txt را میگیرد و برای هر خزنده هوش مصنوعی و جستجو نشان میدهد که آیا آن صفحه قابل دریافت است. سازنده رایگان robots.txt بر اساس انتخابهای شما فایل مینویسد، و بررسی رایگان صفحه را در نقش 16 خزنده دریافت میکند تا نشان دهد آیا فایروال چیزی را که robots.txt مجاز کرده مسدود میکند.
راهحلهای این مشکل
- robots.txt به GPTBot اجازه میدهد، اما سرور آن را مسدود میکند
- robots.txt دسترسی OAI-SearchBot را ممنوع میکند
- robots.txt یک صفحه HTML است
- robots.txt قابل دریافت نیست
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
آیا هنوز robots.txt tester در Google Search Console وجود دارد؟
نه. Google در نوامبر 2023 آن را با گزارش robots.txt جایگزین کرد که فایلهای دریافتشده توسط Google، وضعیت آنها و هر خطایی را نشان میدهد. برای بررسی اینکه Googlebot میتواند یک URL خاص را بخزد یا نه، از ابزار URL Inspection استفاده کنید.
آیا Allow در robots.txt بر Disallow غلبه میکند؟
فقط وقتی قانون Allow طولانیتر یا دقیقاً همطول باشد. قانونی که طولانیترین مسیر منطبق را دارد برنده است، از هر نوعی که باشد، و در تساوی Allow برنده است.
آیا robots.txt به بزرگی و کوچکی حروف حساس است؟
تا حدی. مقدار User-agent بدون توجه به بزرگی و کوچکی حروف تطبیق داده میشود، پس gptbot و GPTBot به یک گروه اشاره میکنند. مسیرها حساساند، پس Disallow: /Private/ مسیر /private/ را مسدود نمیکند.
اعتبارسنج robots.txt چه چیزی را بررسی میکند؟
اعتبارسنج بررسی میکند که فایل در دسترس است، بهصورت متن ارسال میشود و نحو معتبری دارد. ابزار تست فراتر میرود و برای یک URL و خزنده مشخص حکم میدهد. معمولاً به هر دو نیاز دارید، چون یک فایل معتبر هم ممکن است صفحهای را که میخواستید مجاز باشد مسدود کند.
اگر خزندهای گروه خودش را داشته باشد، باز هم از User-agent: * پیروی میکند؟
نه. یک گروه نامدار برای آن خزنده کاملاً جای گروه * را میگیرد. هر قانونی که میخواهید برای همه اعمال شود باید در هر گروه نامدار تکرار شود.
منابع
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py