نشانی یک صفحه را وارد کنید: robots.txt سایت را میخوانیم و برای هر خزنده هوش مصنوعی و جستجو نشان میدهیم که آیا اجازه دریافت آن صفحه را دارد یا نه. یا یک robots.txt را بچسبانید تا پیش از انتشار آزمایشش کنید.
robots.txt فقط یک درخواست است. فایروال یا محافظ ربات همچنان میتواند خزندهای را که robots.txt اجازه داده مسدود کند؛ بررسی کامل این را میآزماید. اجرای بررسی کامل ←
هر خزنده از گروهی پیروی میکند که توکن آن را نام میبرد (مثلاً GPTBot یا PerplexityBot)؛ فقط اگر چنین گروهی نباشد، از User-agent: * پیروی میکند. درون یک گروه، طولانیترین قانون منطبق برنده است و در حالت تساوی Allow برنده است. مسدود کردن خزندههای آموزشی مانند GPTBot، ClaudeBot یا Google-Extended محتوای شما را از آموزش مدلها دور نگه میدارد؛ مسدود کردن خزندههای جستجو و کاربر مانند OAI-SearchBot، ChatGPT-User یا PerplexityBot صفحههای شما را از پاسخهای هوش مصنوعی دور نگه میدارد.
راهنما
نحوه استفاده از تست robots.txt
این متن با ترجمه ماشینی از انگلیسی تهیه شده است.
این تست robots.txt چه چیزی را بررسی میکند
نشانی یک صفحه را وارد کنید. تست، scheme و host آن نشانی را برمیدارد، /robots.txt را از ریشه آن host میخواند و قوانینش را برای مسیر صفحه شما ارزیابی میکند. برای هر یک از 16 خزنده به یک پرسش پاسخ میدهد: آیا این خزنده اجازه دریافت این صفحه را دارد؟
خزندهها بر اساس کارشان گروهبندی شدهاند. خزندههای آموزشی صفحهها را برای مدلهای هوش مصنوعی جمع میکنند: GPTBot، ClaudeBot، CCBot، Bytespider و Meta-ExternalAgent، بهعلاوه توکنهای مخصوص robots.txt یعنی Google-Extended و Applebot-Extended که هرگز خودشان سر نمیزنند اما به Google و Apple میگویند آیا میتوانند از صفحههایی که قبلاً دریافت کردهاند استفاده کنند. خزندههای جستجو ایندکسهایی را میسازند که پاسخهای هوش مصنوعی و نتایج جستجو به آنها استناد میکنند: OAI-SearchBot، Claude-SearchBot، PerplexityBot، Googlebot، Bingbot و Applebot. عاملهای کاربر وقتی صفحهای را دریافت میکنند که کسی از دستیار بخواهد آن را باز کند: ChatGPT-User، Claude-User و Perplexity-User.
به جای نشانی میتوانید یک robots.txt را هم بچسبانید. در این حالت چیزی دریافت نمیشود: تست متنی را که چسباندهاید ارزیابی میکند، پس میتوانید یک تغییر را پیش از انتشار امتحان کنید. متن چسباندهشده فقط برای پاسخ استفاده میشود و ذخیره نمیشود.
نتایج را چطور بخوانید
جدول برای هر خزنده یک ردیف دارد. ستون مسیر شما مجاز یا مسدود را نشان میدهد. ستون آخر میگوید کدام بخش فایل تصمیم را گرفته است:
گروه خودش: فایل یک خط User-agent با توکن این خزنده دارد و فقط قوانین همان گروه برای آن حساب میشود.
User-agent: *: هیچ گروهی نام خزنده را نمیبرد، پس از گروه عمومی پیروی میکند.
بدون قانون: هیچ گروهی اصلاً اعمال نمیشود، پس صفحه مجاز است.
زیر جدول، خطوط Sitemap فهرستشده در فایل و خط Content-Signal آن را، اگر داشته باشد، میبینید. اگر نشانی به جای فایل متنی یک صفحه وب برگرداند یا اصلاً فایلی نبود، تست این را میگوید: خزندهها یک صفحه HTML در /robots.txt را فایل ناموجود در نظر میگیرند.
ردیفی که مجاز نشان میدهد فقط یعنی robots.txt جلوی آن خزنده را نمیگیرد. معنایش این نیست که خزنده سر خواهد زد و چیزی درباره فایروال شما نمیگوید.
خزنده قوانینش را چطور انتخاب میکند
RFC 9309، استاندارد robots.txt، سه قاعده دارد که تقریباً هر نتیجه غیرمنتظرهای را توضیح میدهند. خزنده ابتدا دنبال گروههایی میگردد که User-agent آنها بدون توجه به حروف بزرگ و کوچک با توکنش منطبق باشد. اگر پیدا کند، فقط از همان گروهها پیروی میکند و User-agent: * را کاملاً نادیده میگیرد. درون گروه انتخابشده، قانونی با طولانیترین مسیر منطبق برنده است و اگر یک Allow و یک Disallow با طول برابر منطبق شوند، Allow برنده است.
با این فایل، GPTBot از همه صفحهها مسدود است، چون گروه خودش را دارد. هر خزنده دیگری میتواند /private/press/kit.pdf را دریافت کند، چون Allow: /private/press/ از Disallow: /private/ طولانیتر است، و از /private/notes/ مسدود است. هر دو مسیر را در تست امتحان کنید تا ببینید تصمیم از یک گروه به گروه دیگر تغییر میکند.
اشتباههای رایج، با مثال
خطوط User-agent پشت سر هم یک گروه مشترک میسازند. فایلی با User-agent: GPTBot، سپس User-agent: OAI-SearchBot و سپس Disallow: / هر دو خزنده را مسدود میکند، پس سایتی که فقط میخواست جلوی آموزش را بگیرد از جستجوی ChatGPT هم ناپدید میشود.
مسدود کردن توکن اشتباه OpenAI. GPTBot داده آموزشی جمع میکند؛ OAI-SearchBot تعیین میکند آیا جستجوی ChatGPT میتواند شما را نشان دهد و به شما استناد کند. مسدود کردن OAI-SearchBot یا ChatGPT-User برای توقف آموزش، در عوض شما را از پاسخها حذف میکند.
یک نویسه قانون را برعکس میکند. Disallow: بدون هیچ چیز بعد از آن همه چیز را مجاز میکند؛ Disallow: / همه چیز را مسدود میکند.
مسیرها به حروف بزرگ و کوچک حساساند. Disallow: /Blog/ مسیر /blog/ را مسدود نمیکند.
wildcardها دقت میخواهند. Disallow: /*.pdf نشانی /file.pdf?download=1 را هم مسدود میکند؛ Disallow: /*.pdf$ فقط نشانیهایی را مسدود میکند که به .pdf ختم میشوند.
فایل روی host اشتباه است. robots.txt فقط برای scheme و hostی معتبر است که از آن ارائه میشود، پس www.example.com، example.com و shop.example.com هر کدام فایل خودشان را لازم دارند.
سرور با خطا پاسخ میدهد. پاسخ 4xx یعنی خزندهها میتوانند همه چیز را دریافت کنند. پاسخ 5xx یا timeout یعنی باید فرض کنند همه چیز ممنوع است تا فایل دوباره خوانده شود، پس یک /robots.txt خراب میتواند کل خزش را متوقف کند.
قوانینی که خزندهها از آنها پیروی نمیکنند. Noindex: و Crawl-delay: بخشی از RFC 9309 نیستند و Google هر دو را نادیده میگیرد.
انتظار اینکه robots.txt صفحهای را از جستجو حذف کند. این فایل جلوی خزش را میگیرد، نه ایندکس شدن را: نشانی مسدودشده همچنان ممکن است بدون متنش فهرست شود. برای بیرون نگه داشتن صفحه از ایندکس، خزش را مجاز کنید و از متاتگ یا هدر noindex استفاده کنید.
خزندههای آموزشی، جستجو و کاربر: مسدود کردن هر کدام چه اثری دارد
مسدود کردن یک خزنده آموزشی یک انتخاب سیاستی است. صفحههای شما را از آموزش مدلهای آینده بیرون نگه میدارد و روی اینکه جستجوی هوش مصنوعی امروز به شما استناد کند اثری ندارد. مسدود کردن یک خزنده جستجو مثل OAI-SearchBot، Claude-SearchBot یا PerplexityBot صفحههای شما را از پاسخهای آن دستیار بیرون نگه میدارد. مسدود کردن Googlebot یا Bingbot شما را از آن موتورهای جستجو و قابلیتهای هوش مصنوعی ساختهشده روی آنها حذف میکند.
عاملهای کاربر مثل ChatGPT-User از طرف کسی عمل میکنند که صفحه شما را خواسته است. برخی ارائهدهندگان میگویند این عاملها ممکن است برای چنین درخواستهایی از robots.txt پیروی نکنند، پس قانونی برای آنها یک درخواست است، نه تضمین. اگر میخواهید آموزش خاموش و جستجوی هوش مصنوعی روشن باشد، توکنهای آموزشی را مسدود کنید و به توکنهای جستجو و کاربر دست نزنید.
پیش از انتشار آزمایش کنید، بعد دوباره آزمایش کنید
پیشنویس خود را در تست بچسبانید، مسیر یک صفحه مهم مثل صفحه محصول یا قیمت را وارد کنید و ردیف هر خزندهای را که برایتان مهم است بخوانید. همین کار را با مسیری که قصد مسدود کردنش را داشتید تکرار کنید. وقتی نتایج با هدفتان جور شد، فایل را منتشر کنید و تست را دوباره با نشانی زنده اجرا کنید؛ این کار ثابت میکند سرور همان فایلی را برمیگرداند که ویرایش کردهاید.
خزندهها robots.txt را کش میکنند؛ مثلاً Google معمولاً نسخه خود را ظرف 24 ساعت تازه میکند. ممکن است یک روز طول بکشد تا تغییر در رفتار آنها دیده شود، و گزارش robots.txt در Google Search Console نسخهای را نشان میدهد که Google آخرین بار دریافت کرده است.
وقتی robots.txt به خزنده اجازه میدهد اما باز هم مسدود است
robots.txt فقط یک درخواست است. فایروال، سرویس محافظ ربات یا قانون CDN همچنان میتواند به خزنده با 403 یا صفحه چالش پاسخ دهد در حالی که آدمها صفحه را میگیرند. تست این را نمیبیند، چون فقط یک فایل را میخواند. بررسی کامل صفحه شما را با user agent هر خزنده در کنار یک مرورگر معمولی دریافت میکند و نشان میدهد کدام خزنده پاسخ متفاوتی میگیرد، همراه با وضعیت HTTP و امضای فایروال.
پرسشهای متداول
آیا این همان robots.txt Tester گوگل است؟
نه. Google ابزار مستقل robots.txt Tester را در 2023 کنار گذاشت؛ اکنون گزارش robots.txt در Search Console فایلی را که Google دریافت کرده و خطاهای تجزیه را فقط برای خزندههای Google نشان میدهد. این تست همان قوانین RFC 9309 را همزمان روی 16 خزنده هوش مصنوعی و جستجو اعمال میکند.
آیا مجاز یعنی خزنده صفحهام را میخواند یا به آن استناد میکند؟
نه. یعنی robots.txt آن را ممنوع نمیکند. اینکه خزنده صفحه را بگیرد به سرور و فایروال شما بستگی دارد، و اینکه دستیاری به آن استناد کند به محتوای شما و پرسشی که پرسیده شده بستگی دارد.
چرا یک خزنده «بدون قانون» نشان میدهد؟
فایل شما نه گروهی برای توکن آن دارد و نه گروه User-agent: *، پس هیچ چیز بر آن اعمال نمیشود و همه مسیرها مجازند.
آیا میتوانم robots.txtی را که هنوز منتشر نشده تست کنم؟
بله. متن را در فیلد دوم بچسبانید و مسیر مورد آزمون را وارد کنید. چیزی از سایت شما دریافت نمیشود و متن چسباندهشده ذخیره نمیشود.
آیا تست بهعنوان GPTBot یا خزندههای دیگر درخواست میفرستد؟
نه. فقط robots.txt شما را میخواند و قوانین را اعمال میکند. برای دیدن اینکه هر خزنده واقعاً از سرور شما چه میگیرد، بررسی کامل را اجرا کنید.
هر چند وقت یک بار میتوانم از آن استفاده کنم؟
رایگان است و حساب کاربری لازم ندارد. برای اینکه برای همه در دسترس بماند، هر شبکه میتواند در هر ساعت تعداد محدودی تست اجرا کند.