سازنده robots.txt برای خزنده‌های هوش مصنوعی

انتخاب کنید کدام خزنده‌های هوش مصنوعی می‌توانند سایت شما را بخوانند و robots.txt ساخته‌شده را کپی کنید. یک انتخاب رایج این است که خزنده‌های آموزشی هوش مصنوعی مانند GPTBot و ClaudeBot را مسدود کنید اما به خزنده‌های جستجوی هوش مصنوعی مانند OAI-SearchBot و PerplexityBot اجازه دهید، تا صفحه‌های شما همچنان در پاسخ‌های هوش مصنوعی دیده شوند و به آن‌ها استناد شود.

شروع از
آموزش هوش مصنوعی
جستجوی هوش مصنوعی
دریافت به درخواست کاربر
Content-Signal (اختیاری): مواردی را که اجازه می‌دهید علامت بزنید

مسدود کردن دریافت‌کننده‌هایی که به درخواست کاربر کار می‌کنند اثر محدودی دارد: برخی سازندگان می‌گویند این عامل‌ها ممکن است از robots.txt پیروی نکنند، چون یک انسان صفحه را خواسته است. پیش از انتشار، نتیجه را با بررسی‌کننده robots.txt بیازمایید. تست و بررسی robots.txt برای خزنده‌های هوش مصنوعی ←

چطور از آن استفاده کنیم

فایل را در ریشه دامنه خود قرار دهید (https://example.com/robots.txt). اگر از قبل برای خزنده‌های دیگر قانون دارید، آن‌ها را نگه دارید و فقط گروه‌های هوش مصنوعی را اضافه کنید. تغییرات دفعه بعد که هر خزنده فایل را بخواند اعمال می‌شوند، معمولاً ظرف یک روز.

اجرای بررسی کامل ←

راهنما

نحوه استفاده از سازنده robots.txt

این متن با ترجمه ماشینی از انگلیسی تهیه شده است.

سازنده چه می‌نویسد

خزنده‌هایی را که می‌توانند سایت شما را بخوانند تیک بزنید و تیک آن‌هایی را که می‌خواهید مسدود کنید بردارید. سازنده یک robots.txt می‌نویسد با یک گروه برای هر خزنده مسدودشده، User-agent: <token> و پس از آن Disallow: /، و سپس یک گروه پایانی User-agent: * که بقیه را مجاز می‌کند. نشانی نقشه سایت را اضافه کنید تا یک خط Sitemap اضافه شود. گزینه‌های Content-Signal را تیک بزنید تا یک خط Content-Signal اضافه شود که می‌گوید محتوای شما چطور می‌تواند استفاده شود.

چیزی از مرورگر شما خارج نمی‌شود: فایل همان‌طور که کلیک می‌کنید در صفحه ساخته می‌شود و آن را از کادر خروجی کپی می‌کنید.

از کدام پیش‌تنظیم شروع کنیم

یک مثال: مسدود کردن آموزش، اجازه به جستجوی هوش مصنوعی

هر خزنده مسدودشده گروه خودش را دارد، پس Disallow: / آن فقط بر خودش اعمال می‌شود. همه خزنده‌های دیگر، از جمله OAI-SearchBot و Googlebot، به User-agent: * می‌رسند و می‌توانند همه چیز را بخوانند. خط Content-Signal همین قصد را برای خزنده‌هایی که آن را می‌خوانند تکرار می‌کند: جستجو و پاسخ‌های بلادرنگ بله، آموزش نه.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

پیش از انتشار

اشتباه‌های رایج

پرسش‌های متداول

آیا مسدود کردن GPTBot سایت من را از ChatGPT حذف می‌کند؟

نه. GPTBot داده آموزشی جمع می‌کند. جستجوی ChatGPT از OAI-SearchBot استفاده می‌کند و ChatGPT-User صفحه‌هایی را که کاربران می‌خواهند باز می‌کند. اگر می‌خواهید به شما استناد شود، این‌ها را مجاز بگذارید.

Content-Signal چیست؟

خطی در robots.txt که می‌گوید محتوای شما چطور می‌تواند استفاده شود: search، ai-input (پاسخ‌های بلادرنگ) و ai-train (آموزش)، هر کدام بله یا نه. پشتیبانی بسته به ارائه‌دهنده فرق می‌کند؛ گروه‌های مخصوص هر خزنده همچنان قاعده‌ای هستند که خزنده‌ها از آن پیروی می‌کنند.

آیا Google-Extended روی Google Search اثر دارد؟

نه. یک توکن مخصوص robots.txt است که تعیین می‌کند آیا Google می‌تواند از صفحه‌های شما برای مدل‌های هوش مصنوعی‌اش استفاده کند؛ خزش یا رتبه‌بندی در Google Search را تغییر نمی‌دهد.

آیا انتخاب من جایی فرستاده می‌شود؟

نه. سازنده در مرورگر شما اجرا می‌شود و تا وقتی خودتان آزمایش فایل را انتخاب نکنید چیزی به سرور ما فرستاده نمی‌شود.

ابزارها و راهنماهای مرتبط