انتخاب کنید کدام خزندههای هوش مصنوعی میتوانند سایت شما را بخوانند و robots.txt ساختهشده را کپی کنید. یک انتخاب رایج این است که خزندههای آموزشی هوش مصنوعی مانند GPTBot و ClaudeBot را مسدود کنید اما به خزندههای جستجوی هوش مصنوعی مانند OAI-SearchBot و PerplexityBot اجازه دهید، تا صفحههای شما همچنان در پاسخهای هوش مصنوعی دیده شوند و به آنها استناد شود.
مسدود کردن دریافتکنندههایی که به درخواست کاربر کار میکنند اثر محدودی دارد: برخی سازندگان میگویند این عاملها ممکن است از robots.txt پیروی نکنند، چون یک انسان صفحه را خواسته است. پیش از انتشار، نتیجه را با بررسیکننده robots.txt بیازمایید. تست و بررسی robots.txt برای خزندههای هوش مصنوعی ←
چطور از آن استفاده کنیم
فایل را در ریشه دامنه خود قرار دهید (https://example.com/robots.txt). اگر از قبل برای خزندههای دیگر قانون دارید، آنها را نگه دارید و فقط گروههای هوش مصنوعی را اضافه کنید. تغییرات دفعه بعد که هر خزنده فایل را بخواند اعمال میشوند، معمولاً ظرف یک روز.
خزندههایی را که میتوانند سایت شما را بخوانند تیک بزنید و تیک آنهایی را که میخواهید مسدود کنید بردارید. سازنده یک robots.txt مینویسد با یک گروه برای هر خزنده مسدودشده، User-agent: <token> و پس از آن Disallow: /، و سپس یک گروه پایانی User-agent: * که بقیه را مجاز میکند. نشانی نقشه سایت را اضافه کنید تا یک خط Sitemap اضافه شود. گزینههای Content-Signal را تیک بزنید تا یک خط Content-Signal اضافه شود که میگوید محتوای شما چطور میتواند استفاده شود.
چیزی از مرورگر شما خارج نمیشود: فایل همانطور که کلیک میکنید در صفحه ساخته میشود و آن را از کادر خروجی کپی میکنید.
از کدام پیشتنظیم شروع کنیم
اجازه به همه: هر خزندهای میتواند هر صفحهای را بخواند. برای بیشتر سایتهایی که میخواهند پیدا شوند و به آنها استناد شود مناسب است.
مسدود کردن آموزش، اجازه به جستجوی هوش مصنوعی: خزندههای آموزشی مثل GPTBot، ClaudeBot، CCBot و Google-Extended مسدود میشوند؛ خزندههای جستجو و کاربر مثل OAI-SearchBot، Claude-SearchBot، PerplexityBot و ChatGPT-User مجاز میمانند. صفحههای شما همچنان میتوانند در پاسخهای هوش مصنوعی ظاهر شوند و به آنها استناد شود.
مسدود کردن همه خزندههای هوش مصنوعی: همه خزندههای هوش مصنوعی فهرست مسدود میشوند. صفحههای شما توسط آن خزندهها برای پاسخهای هوش مصنوعی دریافت نمیشوند، که معمولاً یعنی استناد کمتر و ترافیک کمتر از دستیارها.
یک مثال: مسدود کردن آموزش، اجازه به جستجوی هوش مصنوعی
هر خزنده مسدودشده گروه خودش را دارد، پس Disallow: / آن فقط بر خودش اعمال میشود. همه خزندههای دیگر، از جمله OAI-SearchBot و Googlebot، به User-agent: * میرسند و میتوانند همه چیز را بخوانند. خط Content-Signal همین قصد را برای خزندههایی که آن را میخوانند تکرار میکند: جستجو و پاسخهای بلادرنگ بله، آموزش نه.
ادغام کنید، جایگزین نکنید. اگر robots.txt فعلی شما قوانینی برای بخش مدیریت، سبد خرید یا صفحههای جستجو دارد، آنها را در گروه User-agent: * فایل جدید کپی کنید، وگرنه آن بخشها را به روی همه خزندهها باز میکنید.
فایل را در ریشه هر host قرار دهید: https://example.com/robots.txt. هر زیردامنه فایل خودش را لازم دارد.
آن را بهصورت متن ساده با وضعیت 200 ارائه کنید. یک صفحه HTML یا خطا در آن نشانی بهعنوان robots.txt کار نمیکند.
نتیجه را در تست robots.txt بچسبانید و چند مسیر واقعی را برای خزندههایی که برایتان مهماند بررسی کنید.
به یاد داشته باشید که robots.txt یک درخواست است. اگر فایروال خزندهای را که مجاز کردهاید مسدود کند، فایل نمیتواند آن را درست کند؛ بررسی کامل این را نشان میدهد.
اشتباههای رایج
مسدود کردن OAI-SearchBot یا PerplexityBot برای توقف آموزش. اینها خزندههای جستجو هستند؛ مسدود کردنشان شما را از پاسخها حذف میکند.
نوشتن چند خط User-agent بالای یک Disallow: / وقتی میخواستید فقط یکی از آنها را مسدود کنید: خطوط پشت سر هم یک گروه میسازند.
انتظار اینکه دریافتکنندههای درخواستی کاربر مثل ChatGPT-User از مسدودسازی پیروی کنند. برخی ارائهدهندگان میگویند این عاملها وقتی کسی صفحه را خواسته ممکن است از robots.txt پیروی نکنند.
اضافه کردن خطوط Crawl-delay یا Noindex. اینها بخشی از RFC 9309 نیستند و Google هر دو را نادیده میگیرد.
پرسشهای متداول
آیا مسدود کردن GPTBot سایت من را از ChatGPT حذف میکند؟
نه. GPTBot داده آموزشی جمع میکند. جستجوی ChatGPT از OAI-SearchBot استفاده میکند و ChatGPT-User صفحههایی را که کاربران میخواهند باز میکند. اگر میخواهید به شما استناد شود، اینها را مجاز بگذارید.
Content-Signal چیست؟
خطی در robots.txt که میگوید محتوای شما چطور میتواند استفاده شود: search، ai-input (پاسخهای بلادرنگ) و ai-train (آموزش)، هر کدام بله یا نه. پشتیبانی بسته به ارائهدهنده فرق میکند؛ گروههای مخصوص هر خزنده همچنان قاعدهای هستند که خزندهها از آن پیروی میکنند.
آیا Google-Extended روی Google Search اثر دارد؟
نه. یک توکن مخصوص robots.txt است که تعیین میکند آیا Google میتواند از صفحههای شما برای مدلهای هوش مصنوعیاش استفاده کند؛ خزش یا رتبهبندی در Google Search را تغییر نمیدهد.
آیا انتخاب من جایی فرستاده میشود؟
نه. سازنده در مرورگر شما اجرا میشود و تا وقتی خودتان آزمایش فایل را انتخاب نکنید چیزی به سرور ما فرستاده نمیشود.