robots.txt برای خزندههای هوش مصنوعی: چه چیزی را مجاز و چه چیزی را مسدود کنیم
به هر خزنده هوش مصنوعی که برایتان مهم است گروه User-agent جداگانه بدهید. اگر میخواهید به شما استناد شود، خزندههای جستجو مانند OAI-SearchBot، Claude-SearchBot و PerplexityBot را مجاز کنید و درباره توکنهای آموزشی مانند GPTBot، ClaudeBot، Google-Extended و Applebot-Extended جداگانه تصمیم بگیرید. یک گروه نامدار برای آن خزنده جای گروه * را میگیرد.
robots.txt یک فایل متنی ساده است که به سال 1994 برمیگردد و در 2022 با RFC 9309 به یک استاندارد رسمی تبدیل شد. بیشتر شرکتهای هوش مصنوعی میگویند خزندههایشان از آن پیروی میکنند و چند شرکت توکنهای جداگانهای برای جستجو و آموزش منتشر کردهاند. همین robots.txt را سادهترین جا برای بیان سیاست هوش مصنوعی میکند، به شرط آنکه قوانین همان معنایی را داشته باشند که فکر میکنید.
در این صفحه
- خزندههای هوش مصنوعی از کدام توکنهای robots.txt استفاده میکنند؟
- یک robots.txt خوب برای هوش مصنوعی چه شکلی است؟
- خزندهها چطور انتخاب میکنند کدام قوانین شامل حالشان میشود؟
- رایجترین اشتباههای robots.txt کداماند؟
- آیا میتوانم سیاست استفاده هوش مصنوعی را فراتر از مجاز و ممنوع بیان کنم؟
- تغییرات چقدر طول میکشد و چطور بررسیشان کنم؟
خزندههای هوش مصنوعی از کدام توکنهای robots.txt استفاده میکنند؟
اینها توکنهایی هستند که شرکتها مستند کردهاند. طبق RFC 9309 تطبیق به حروف بزرگ و کوچک حساس نیست.
- OpenAI:
OAI-SearchBot(جستجوی ChatGPT)،GPTBot(آموزش)،ChatGPT-User(بازدیدهای درخواستی کاربر؛ OpenAI میگوید ممکن است robots.txt اعمال نشود). - Anthropic:
Claude-SearchBot(جستجو)،ClaudeBot(آموزش)،Claude-User(بازدیدهای درخواستی کاربر). - Perplexity:
PerplexityBot(جستجو)،Perplexity-User(بازدیدهای درخواستی کاربر؛ Perplexity میگوید معمولاً robots.txt را نادیده میگیرد). - Google:
Googlebot(Search، از جمله قابلیتهای هوش مصنوعی آن) وGoogle-Extended، توکنی بدون خزنده مخصوص به خود که استفاده در آموزش و grounding مدل Gemini را کنترل میکند. - Apple:
Applebot(Spotlight، Siri و جستجوی Safari) وApplebot-Extendedکه نمیخزد اما استفاده برای آموزش مدلهای پایه Apple را کنترل میکند. - Meta:
meta-externalagent(آموزش و ایندکس محصولات) وmeta-webindexer(جستجوی Meta AI). - Common Crawl:
CCBotکه بایگانی عمومی و رایگان دادههای وب Common Crawl را میسازد.
یک robots.txt خوب برای هوش مصنوعی چه شکلی است؟
این مثال جستجوی هوش مصنوعی و دریافتهای کاربر را راه میدهد، از توکنهای اصلی آموزشی کنار میکشد و یک بخش خصوصی را برای همه بسته نگه میدارد:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml چند خط User-agent پشت سر هم یک گروه میسازند؛ پس قوانین زیر آنها روی تکتک آن خزندهها اعمال میشود. اگر میخواهید محتوایتان برای آموزش استفاده شود، کافی است گروه دوم را حذف کنید. مسدود کردن Google-Extended روی Google Search اثری ندارد: Google میگوید روی حضور در Search اثر نمیگذارد و سیگنال رتبهبندی نیست. به همین ترتیب Apple میگوید صفحههایی که Applebot-Extended را ممنوع میکنند همچنان میتوانند در نتایج جستجوی آن ظاهر شوند.
خزندهها چطور انتخاب میکنند کدام قوانین شامل حالشان میشود؟
RFC 9309 این را دقیق تعریف کرده و جزئیات آن بیشتر غافلگیریها را توضیح میدهد:
- خزنده دنبال گروهی میگردد که
User-agentآن، بدون توجه به حروف بزرگ و کوچک، با توکن محصولش منطبق باشد. اگر چند گروه منطبق باشند، قوانینشان در یک گروه ترکیب میشود. - فقط اگر هیچ گروهی منطبق نباشد، خزنده از گروه
User-agent: *پیروی میکند. گروه نامدار چیزی از*به ارث نمیبرد. - در داخل گروه، قانونی که طولانیترین مسیر منطبق را دارد برنده است. برای
/blog/post،Allow: /blog/برDisallow: /غلبه میکند. - اگر یک قانون
Allowو یک قانونDisallowبا طول برابر منطبق باشند، بایدAllowبه کار رود. *در مسیر با هر کاراکتری منطبق میشود و$انتهای مسیر را مشخص میکند؛ پسDisallow: /*.pdf$همه فایلهای PDF را پوشش میدهد.
رایجترین اشتباههای robots.txt کداماند؟
- انتظار اینکه گروه نامدار از
*ارث ببرد. گروهی برایOAI-SearchBotکه فقطAllow: /دارد همه مسیرها را باز میکند، از جمله آنهایی که زیر*ممنوع کردهاید. - نشانی robots.txt که یک صفحه HTML برمیگرداند، اغلب یک صفحه 404 که با وضعیت 200 ارائه میشود. خزندهها در آن هیچ قانون معتبری پیدا نمیکنند.
- robots.txt که خطای سرور برمیگرداند. RFC 9309 میگوید در این حالت خزنده باید فرض کند کل سایت ممنوع است. خطای 404 فرق دارد: یعنی هیچ محدودیتی وجود ندارد.
- مسدود کردن یک توکن جستجو به قصد مسدود کردن آموزش؛ برای مثال ممنوع کردن
PerplexityBotیاClaude-SearchBotبرای جلوگیری از آموزش مدل. - تکیه بر robots.txt برای جلوگیری از دریافتهای درخواستی کاربر. OpenAI و Perplexity هر دو میگویند ممکن است user agentهایشان از آن پیروی نکنند.
- فراموش کردن زیردامنهها. هر میزبان robots.txt خودش را دارد؛ مستندات Anthropic به صاحبان سایت یادآوری میکند که برای هر زیردامنه قانون اضافه کنند.
آیا میتوانم سیاست استفاده هوش مصنوعی را فراتر از مجاز و ممنوع بیان کنم؟
Cloudflare یک خط Content-Signal برای robots.txt پیشنهاد کرده است با سه سیگنال: search (ساخت نمایه جستجو و نمایش لینک و گزیدههای کوتاه)، ai-input (استفاده لحظهای از محتوا برای پاسخهای هوش مصنوعی) و ai-train (آموزش یا تنظیم دقیق مدلها). robots.txt مدیریتشده Cloudflare میتواند آن را برایتان اضافه کند.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / مثل هر چیز دیگری در robots.txt، اینها ترجیحات هستند، نه کنترل فنی. خود Cloudflare یادآوری میکند که پیروی از robots.txt داوطلبانه است. این خط اختیاری است و ضرری ندارد، اما جای گروههای جداگانه هر خزنده را که در بالا آمد نمیگیرد.
تغییرات چقدر طول میکشد و چطور بررسیشان کنم؟
RFC 9309 میگوید خزندهها نباید robots.txt کششده را بیش از 24 ساعت استفاده کنند و OpenAI و Perplexity هر دو میگویند اعمال تغییرات ممکن است حدود یک روز طول بکشد. همچنین به یاد داشته باشید robots.txt کنترل دسترسی نیست: فایروال همچنان میتواند خزندهای را که قوانین شما مجاز کردهاند مسدود کند.
AISeeWhy فایل robots.txt شما را برای هر خزندهای که میآزماید طبق RFC 9309 تجزیه میکند، فایلهایی را که در دسترس نیستند یا بهصورت HTML ارائه میشوند علامت میزند، نشان میدهد کجا قوانین شما و سرورتان با هم اختلاف دارند و یک diff آماده برای تغییر ارائه میکند.
راهحلهای این مشکل
- robots.txt به GPTBot اجازه میدهد، اما سرور آن را مسدود میکند
- robots.txt دسترسی OAI-SearchBot را ممنوع میکند
- robots.txt یک صفحه HTML است
- robots.txt خط Content-Signal ندارد
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
آیا مسدود کردن GPTBot یا ClaudeBot به دیده شدن من در پاسخهای هوش مصنوعی آسیب میزند؟
نه بهطور مستقیم. هر دو شرکت برای جستجو از خزندههای جداگانهای استفاده میکنند: OAI-SearchBot و Claude-SearchBot. مسدود کردن خزنده آموزشی یک انتخاب سیاستی است.
آیا Google-Extended جلوی AI Overviews را میگیرد؟
نه. Google میگوید قابلیتهای هوش مصنوعی در Search از Googlebot و کنترلهای معمول Search مانند nosnippet و noindex استفاده میکنند. Google-Extended آموزش Gemini و grounding در دیگر محصولات Google را پوشش میدهد و روی Search اثری ندارد.
آیا خزندههای هوش مصنوعی از Crawl-delay پشتیبانی میکنند؟
این دستور بخشی از RFC 9309 نیست. Anthropic میگوید از Crawl-delay بهعنوان یک افزونه غیراستاندارد پشتیبانی میکند؛ برای شرکتهای دیگر مستنداتشان را بررسی کنید.
robots.txt باید کجا قرار بگیرد؟
در ریشه هر میزبان، برای مثال https://example.com/robots.txt. فایلی که در یک زیرپوشه باشد نادیده گرفته میشود و هر زیردامنه فایل خودش را لازم دارد.
منابع
- RFC 9309: پروتکل استثنای رباتها (Robots Exclusion Protocol)
- OpenAI: مروری بر خزندههای OpenAI
- Google: خزندههای رایج، از جمله Google-Extended
- Apple: درباره Applebot
- Cloudflare: robots.txt مدیریتشده و Content Signals