robots.txt برای خزنده‌های هوش مصنوعی: چه چیزی را مجاز و چه چیزی را مسدود کنیم

تاریخ انتشار

پاسخ کوتاه

به هر خزنده هوش مصنوعی که برایتان مهم است گروه User-agent جداگانه بدهید. اگر می‌خواهید به شما استناد شود، خزنده‌های جستجو مانند OAI-SearchBot، Claude-SearchBot و PerplexityBot را مجاز کنید و درباره توکن‌های آموزشی مانند GPTBot، ClaudeBot، Google-Extended و Applebot-Extended جداگانه تصمیم بگیرید. یک گروه نام‌دار برای آن خزنده جای گروه * را می‌گیرد.

robots.txt یک فایل متنی ساده است که به سال 1994 برمی‌گردد و در 2022 با RFC 9309 به یک استاندارد رسمی تبدیل شد. بیشتر شرکت‌های هوش مصنوعی می‌گویند خزنده‌هایشان از آن پیروی می‌کنند و چند شرکت توکن‌های جداگانه‌ای برای جستجو و آموزش منتشر کرده‌اند. همین robots.txt را ساده‌ترین جا برای بیان سیاست هوش مصنوعی می‌کند، به شرط آنکه قوانین همان معنایی را داشته باشند که فکر می‌کنید.

در این صفحه
  1. خزنده‌های هوش مصنوعی از کدام توکن‌های robots.txt استفاده می‌کنند؟
  2. یک robots.txt خوب برای هوش مصنوعی چه شکلی است؟
  3. خزنده‌ها چطور انتخاب می‌کنند کدام قوانین شامل حالشان می‌شود؟
  4. رایج‌ترین اشتباه‌های robots.txt کدام‌اند؟
  5. آیا می‌توانم سیاست استفاده هوش مصنوعی را فراتر از مجاز و ممنوع بیان کنم؟
  6. تغییرات چقدر طول می‌کشد و چطور بررسی‌شان کنم؟

خزنده‌های هوش مصنوعی از کدام توکن‌های robots.txt استفاده می‌کنند؟

این‌ها توکن‌هایی هستند که شرکت‌ها مستند کرده‌اند. طبق RFC 9309 تطبیق به حروف بزرگ و کوچک حساس نیست.

یک robots.txt خوب برای هوش مصنوعی چه شکلی است؟

این مثال جستجوی هوش مصنوعی و دریافت‌های کاربر را راه می‌دهد، از توکن‌های اصلی آموزشی کنار می‌کشد و یک بخش خصوصی را برای همه بسته نگه می‌دارد:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

چند خط User-agent پشت سر هم یک گروه می‌سازند؛ پس قوانین زیر آن‌ها روی تک‌تک آن خزنده‌ها اعمال می‌شود. اگر می‌خواهید محتوایتان برای آموزش استفاده شود، کافی است گروه دوم را حذف کنید. مسدود کردن Google-Extended روی Google Search اثری ندارد: Google می‌گوید روی حضور در Search اثر نمی‌گذارد و سیگنال رتبه‌بندی نیست. به همین ترتیب Apple می‌گوید صفحه‌هایی که Applebot-Extended را ممنوع می‌کنند همچنان می‌توانند در نتایج جستجوی آن ظاهر شوند.

خزنده‌ها چطور انتخاب می‌کنند کدام قوانین شامل حالشان می‌شود؟

RFC 9309 این را دقیق تعریف کرده و جزئیات آن بیشتر غافلگیری‌ها را توضیح می‌دهد:

رایج‌ترین اشتباه‌های robots.txt کدام‌اند؟

آیا می‌توانم سیاست استفاده هوش مصنوعی را فراتر از مجاز و ممنوع بیان کنم؟

Cloudflare یک خط Content-Signal برای robots.txt پیشنهاد کرده است با سه سیگنال: search (ساخت نمایه جستجو و نمایش لینک و گزیده‌های کوتاه)، ai-input (استفاده لحظه‌ای از محتوا برای پاسخ‌های هوش مصنوعی) و ai-train (آموزش یا تنظیم دقیق مدل‌ها). robots.txt مدیریت‌شده Cloudflare می‌تواند آن را برایتان اضافه کند.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

مثل هر چیز دیگری در robots.txt، این‌ها ترجیحات هستند، نه کنترل فنی. خود Cloudflare یادآوری می‌کند که پیروی از robots.txt داوطلبانه است. این خط اختیاری است و ضرری ندارد، اما جای گروه‌های جداگانه هر خزنده را که در بالا آمد نمی‌گیرد.

تغییرات چقدر طول می‌کشد و چطور بررسی‌شان کنم؟

RFC 9309 می‌گوید خزنده‌ها نباید robots.txt کش‌شده را بیش از 24 ساعت استفاده کنند و OpenAI و Perplexity هر دو می‌گویند اعمال تغییرات ممکن است حدود یک روز طول بکشد. همچنین به یاد داشته باشید robots.txt کنترل دسترسی نیست: فایروال همچنان می‌تواند خزنده‌ای را که قوانین شما مجاز کرده‌اند مسدود کند.

AISeeWhy فایل robots.txt شما را برای هر خزنده‌ای که می‌آزماید طبق RFC 9309 تجزیه می‌کند، فایل‌هایی را که در دسترس نیستند یا به‌صورت HTML ارائه می‌شوند علامت می‌زند، نشان می‌دهد کجا قوانین شما و سرورتان با هم اختلاف دارند و یک diff آماده برای تغییر ارائه می‌کند.

راه‌حل‌های این مشکل

ابزارهای رایگان

قدم‌های بعدی

خزنده‌های این مقاله

پرسش‌های متداول

آیا مسدود کردن GPTBot یا ClaudeBot به دیده شدن من در پاسخ‌های هوش مصنوعی آسیب می‌زند؟

نه به‌طور مستقیم. هر دو شرکت برای جستجو از خزنده‌های جداگانه‌ای استفاده می‌کنند: OAI-SearchBot و Claude-SearchBot. مسدود کردن خزنده آموزشی یک انتخاب سیاستی است.

آیا Google-Extended جلوی AI Overviews را می‌گیرد؟

نه. Google می‌گوید قابلیت‌های هوش مصنوعی در Search از Googlebot و کنترل‌های معمول Search مانند nosnippet و noindex استفاده می‌کنند. Google-Extended آموزش Gemini و grounding در دیگر محصولات Google را پوشش می‌دهد و روی Search اثری ندارد.

آیا خزنده‌های هوش مصنوعی از Crawl-delay پشتیبانی می‌کنند؟

این دستور بخشی از RFC 9309 نیست. Anthropic می‌گوید از Crawl-delay به‌عنوان یک افزونه غیراستاندارد پشتیبانی می‌کند؛ برای شرکت‌های دیگر مستنداتشان را بررسی کنید.

robots.txt باید کجا قرار بگیرد؟

در ریشه هر میزبان، برای مثال https://example.com/robots.txt. فایلی که در یک زیرپوشه باشد نادیده گرفته می‌شود و هر زیردامنه فایل خودش را لازم دارد.

منابع

مقاله‌های دیگر