تست و بررسی robots.txt برای خزنده‌های هوش مصنوعی

نشانی یک صفحه را وارد کنید: robots.txt سایت را می‌خوانیم و برای هر خزنده هوش مصنوعی و جستجو نشان می‌دهیم که آیا اجازه دریافت آن صفحه را دارد یا نه. یا یک robots.txt را بچسبانید تا پیش از انتشار آزمایشش کنید.

robots.txt فقط یک درخواست است. فایروال یا محافظ ربات همچنان می‌تواند خزنده‌ای را که robots.txt اجازه داده مسدود کند؛ بررسی کامل این را می‌آزماید. اجرای بررسی کامل ←

همین بررسی برای صفحه‌ای که باز است، با یک کلیک: بررسی خزنده‌های هوش مصنوعی ↗

خزنده‌های هوش مصنوعی robots.txt را چطور می‌خوانند

هر خزنده از گروهی پیروی می‌کند که توکن آن را نام می‌برد (مثلاً GPTBot یا PerplexityBot)؛ فقط اگر چنین گروهی نباشد، از User-agent: * پیروی می‌کند. درون یک گروه، طولانی‌ترین قانون منطبق برنده است و در حالت تساوی Allow برنده است. مسدود کردن خزنده‌های آموزشی مانند GPTBot، ClaudeBot یا Google-Extended محتوای شما را از آموزش مدل‌ها دور نگه می‌دارد؛ مسدود کردن خزنده‌های جستجو و کاربر مانند OAI-SearchBot، ChatGPT-User یا PerplexityBot صفحه‌های شما را از پاسخ‌های هوش مصنوعی دور نگه می‌دارد.

راهنما

نحوه استفاده از تست robots.txt

این متن با ترجمه ماشینی از انگلیسی تهیه شده است.

این تست robots.txt چه چیزی را بررسی می‌کند

نشانی یک صفحه را وارد کنید. تست، scheme و host آن نشانی را برمی‌دارد، /robots.txt را از ریشه آن host می‌خواند و قوانینش را برای مسیر صفحه شما ارزیابی می‌کند. برای هر یک از 16 خزنده به یک پرسش پاسخ می‌دهد: آیا این خزنده اجازه دریافت این صفحه را دارد؟

خزنده‌ها بر اساس کارشان گروه‌بندی شده‌اند. خزنده‌های آموزشی صفحه‌ها را برای مدل‌های هوش مصنوعی جمع می‌کنند: GPTBot، ClaudeBot، CCBot، Bytespider و Meta-ExternalAgent، به‌علاوه توکن‌های مخصوص robots.txt یعنی Google-Extended و Applebot-Extended که هرگز خودشان سر نمی‌زنند اما به Google و Apple می‌گویند آیا می‌توانند از صفحه‌هایی که قبلاً دریافت کرده‌اند استفاده کنند. خزنده‌های جستجو ایندکس‌هایی را می‌سازند که پاسخ‌های هوش مصنوعی و نتایج جستجو به آن‌ها استناد می‌کنند: OAI-SearchBot، Claude-SearchBot، PerplexityBot، Googlebot، Bingbot و Applebot. عامل‌های کاربر وقتی صفحه‌ای را دریافت می‌کنند که کسی از دستیار بخواهد آن را باز کند: ChatGPT-User، Claude-User و Perplexity-User.

به جای نشانی می‌توانید یک robots.txt را هم بچسبانید. در این حالت چیزی دریافت نمی‌شود: تست متنی را که چسبانده‌اید ارزیابی می‌کند، پس می‌توانید یک تغییر را پیش از انتشار امتحان کنید. متن چسبانده‌شده فقط برای پاسخ استفاده می‌شود و ذخیره نمی‌شود.

نتایج را چطور بخوانید

جدول برای هر خزنده یک ردیف دارد. ستون مسیر شما مجاز یا مسدود را نشان می‌دهد. ستون آخر می‌گوید کدام بخش فایل تصمیم را گرفته است:

زیر جدول، خطوط Sitemap فهرست‌شده در فایل و خط Content-Signal آن را، اگر داشته باشد، می‌بینید. اگر نشانی به جای فایل متنی یک صفحه وب برگرداند یا اصلاً فایلی نبود، تست این را می‌گوید: خزنده‌ها یک صفحه HTML در /robots.txt را فایل ناموجود در نظر می‌گیرند.

ردیفی که مجاز نشان می‌دهد فقط یعنی robots.txt جلوی آن خزنده را نمی‌گیرد. معنایش این نیست که خزنده سر خواهد زد و چیزی درباره فایروال شما نمی‌گوید.

خزنده قوانینش را چطور انتخاب می‌کند

RFC 9309، استاندارد robots.txt، سه قاعده دارد که تقریباً هر نتیجه غیرمنتظره‌ای را توضیح می‌دهند. خزنده ابتدا دنبال گروه‌هایی می‌گردد که User-agent آن‌ها بدون توجه به حروف بزرگ و کوچک با توکنش منطبق باشد. اگر پیدا کند، فقط از همان گروه‌ها پیروی می‌کند و User-agent: * را کاملاً نادیده می‌گیرد. درون گروه انتخاب‌شده، قانونی با طولانی‌ترین مسیر منطبق برنده است و اگر یک Allow و یک Disallow با طول برابر منطبق شوند، Allow برنده است.

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

با این فایل، GPTBot از همه صفحه‌ها مسدود است، چون گروه خودش را دارد. هر خزنده دیگری می‌تواند /private/press/kit.pdf را دریافت کند، چون Allow: /private/press/ از Disallow: /private/ طولانی‌تر است، و از /private/notes/ مسدود است. هر دو مسیر را در تست امتحان کنید تا ببینید تصمیم از یک گروه به گروه دیگر تغییر می‌کند.

اشتباه‌های رایج، با مثال

خزنده‌های آموزشی، جستجو و کاربر: مسدود کردن هر کدام چه اثری دارد

مسدود کردن یک خزنده آموزشی یک انتخاب سیاستی است. صفحه‌های شما را از آموزش مدل‌های آینده بیرون نگه می‌دارد و روی اینکه جستجوی هوش مصنوعی امروز به شما استناد کند اثری ندارد. مسدود کردن یک خزنده جستجو مثل OAI-SearchBot، Claude-SearchBot یا PerplexityBot صفحه‌های شما را از پاسخ‌های آن دستیار بیرون نگه می‌دارد. مسدود کردن Googlebot یا Bingbot شما را از آن موتورهای جستجو و قابلیت‌های هوش مصنوعی ساخته‌شده روی آن‌ها حذف می‌کند.

عامل‌های کاربر مثل ChatGPT-User از طرف کسی عمل می‌کنند که صفحه شما را خواسته است. برخی ارائه‌دهندگان می‌گویند این عامل‌ها ممکن است برای چنین درخواست‌هایی از robots.txt پیروی نکنند، پس قانونی برای آن‌ها یک درخواست است، نه تضمین. اگر می‌خواهید آموزش خاموش و جستجوی هوش مصنوعی روشن باشد، توکن‌های آموزشی را مسدود کنید و به توکن‌های جستجو و کاربر دست نزنید.

پیش از انتشار آزمایش کنید، بعد دوباره آزمایش کنید

پیش‌نویس خود را در تست بچسبانید، مسیر یک صفحه مهم مثل صفحه محصول یا قیمت را وارد کنید و ردیف هر خزنده‌ای را که برایتان مهم است بخوانید. همین کار را با مسیری که قصد مسدود کردنش را داشتید تکرار کنید. وقتی نتایج با هدفتان جور شد، فایل را منتشر کنید و تست را دوباره با نشانی زنده اجرا کنید؛ این کار ثابت می‌کند سرور همان فایلی را برمی‌گرداند که ویرایش کرده‌اید.

خزنده‌ها robots.txt را کش می‌کنند؛ مثلاً Google معمولاً نسخه خود را ظرف 24 ساعت تازه می‌کند. ممکن است یک روز طول بکشد تا تغییر در رفتار آن‌ها دیده شود، و گزارش robots.txt در Google Search Console نسخه‌ای را نشان می‌دهد که Google آخرین بار دریافت کرده است.

وقتی robots.txt به خزنده اجازه می‌دهد اما باز هم مسدود است

robots.txt فقط یک درخواست است. فایروال، سرویس محافظ ربات یا قانون CDN همچنان می‌تواند به خزنده با 403 یا صفحه چالش پاسخ دهد در حالی که آدم‌ها صفحه را می‌گیرند. تست این را نمی‌بیند، چون فقط یک فایل را می‌خواند. بررسی کامل صفحه شما را با user agent هر خزنده در کنار یک مرورگر معمولی دریافت می‌کند و نشان می‌دهد کدام خزنده پاسخ متفاوتی می‌گیرد، همراه با وضعیت HTTP و امضای فایروال.

پرسش‌های متداول

آیا این همان robots.txt Tester گوگل است؟

نه. Google ابزار مستقل robots.txt Tester را در 2023 کنار گذاشت؛ اکنون گزارش robots.txt در Search Console فایلی را که Google دریافت کرده و خطاهای تجزیه را فقط برای خزنده‌های Google نشان می‌دهد. این تست همان قوانین RFC 9309 را هم‌زمان روی 16 خزنده هوش مصنوعی و جستجو اعمال می‌کند.

آیا مجاز یعنی خزنده صفحه‌ام را می‌خواند یا به آن استناد می‌کند؟

نه. یعنی robots.txt آن را ممنوع نمی‌کند. اینکه خزنده صفحه را بگیرد به سرور و فایروال شما بستگی دارد، و اینکه دستیاری به آن استناد کند به محتوای شما و پرسشی که پرسیده شده بستگی دارد.

چرا یک خزنده «بدون قانون» نشان می‌دهد؟

فایل شما نه گروهی برای توکن آن دارد و نه گروه User-agent: *، پس هیچ چیز بر آن اعمال نمی‌شود و همه مسیرها مجازند.

آیا می‌توانم robots.txtی را که هنوز منتشر نشده تست کنم؟

بله. متن را در فیلد دوم بچسبانید و مسیر مورد آزمون را وارد کنید. چیزی از سایت شما دریافت نمی‌شود و متن چسبانده‌شده ذخیره نمی‌شود.

آیا تست به‌عنوان GPTBot یا خزنده‌های دیگر درخواست می‌فرستد؟

نه. فقط robots.txt شما را می‌خواند و قوانین را اعمال می‌کند. برای دیدن اینکه هر خزنده واقعاً از سرور شما چه می‌گیرد، بررسی کامل را اجرا کنید.

هر چند وقت یک بار می‌توانم از آن استفاده کنم؟

رایگان است و حساب کاربری لازم ندارد. برای اینکه برای همه در دسترس بماند، هر شبکه می‌تواند در هر ساعت تعداد محدودی تست اجرا کند.

ابزارها و راهنماهای مرتبط