چطور جلوی آموزش هوش مصنوعی را بگیریم اما در پاسخ‌های جستجوی هوش مصنوعی بمانیم

تاریخ انتشار

پاسخ کوتاه

بیشتر شرکت‌های هوش مصنوعی برای آموزش مدل و برای جستجو از توکن‌های جداگانه robots.txt استفاده می‌کنند. توکن‌های آموزشی مانند GPTBot، ClaudeBot، Google-Extended، Applebot-Extended، meta-externalagent و CCBot را ممنوع کنید و توکن‌های جستجو و کاربر مانند OAI-SearchBot، Claude-SearchBot و PerplexityBot را مجاز کنید. یک خط Content-Signal هم اضافه کنید تا همین ترجیح را صریحاً اعلام کنید.

بسیاری از صاحبان سایت دو چیز را با هم می‌خواهند: نمی‌خواهند محتوایشان برای آموزش مدل‌های هوش مصنوعی استفاده شود، اما می‌خواهند دستیارهای هوش مصنوعی صفحه‌هایشان را پیدا کنند، از آن‌ها نقل کنند و به آن‌ها لینک دهند. چون شرکت‌های بزرگ اکنون این کارها را میان خزنده‌ها یا توکن‌های مختلف تقسیم کرده‌اند، robots.txt می‌تواند هر دو انتخاب را بیان کند. مشکل اینجاست که نام‌ها از شرکتی به شرکت دیگر فرق می‌کند، چند شرکت در این الگو نمی‌گنجند و یک خط اشتباه می‌تواند شما را به‌جای داده‌های آموزشی از پاسخ‌های هوش مصنوعی حذف کند.

در این صفحه
  1. فرق خزنده آموزشی و خزنده جستجو چیست؟
  2. کدام توکن‌ها آموزش را کنترل می‌کنند و کدام جستجو را؟
  3. robots.txt چه شکلی است؟
  4. چند سایت همین حالا این کار را می‌کنند؟
  5. Content-Signal چه چیزی اضافه می‌کند؟
  6. این تفکیک کجا به‌طور کامل کار نمی‌کند؟
  7. چطور بررسی کنم که این تفکیک کار می‌کند؟

فرق خزنده آموزشی و خزنده جستجو چیست؟

خزنده آموزشی صفحه‌هایی را جمع می‌کند که ممکن است برای ساخت یا بهبود مدل‌های هوش مصنوعی استفاده شوند. آموزش به‌تنهایی نه استنادی ایجاد می‌کند نه لینکی. خزنده جستجو نمایه‌ای می‌سازد که دستیار هوش مصنوعی برای پیدا کردن منابع پاسخ از آن استفاده می‌کند، و همین منابع هستند که می‌تواند به آن‌ها استناد کند. دریافت‌کننده‌ای که کاربر آن را فعال می‌کند، صفحه را همان لحظه باز می‌کند چون کسی درباره آن پرسیده است.

شرکت‌ها این نقش‌ها را جداگانه مستند می‌کنند و می‌گویند تنظیمات مستقل از هم هستند. برای مثال OpenAI می‌گوید هر تنظیم robots.txt برای خزنده‌هایش مستقل از بقیه است. پس خارج شدن از آموزش، اگر درست انجام شود، به دیده شدن شما در جستجو دست نمی‌زند.

کدام توکن‌ها آموزش را کنترل می‌کنند و کدام جستجو را؟

این‌ها توکن‌هایی هستند که شرکت‌ها مستند کرده‌اند، به تفکیک آنچه کنترل می‌کنند:

robots.txt چه شکلی است؟

طبق RFC 9309 چند خط User-agent پشت سر هم یک گروه می‌سازند، پس قوانین روی همه آن‌ها اعمال می‌شود. این فایل توکن‌های آموزشی بالا را کنار می‌گذارد، عامل‌های جستجو و کاربر را مجاز می‌کند و یک مسیر خصوصی را برای همه بسته نگه می‌دارد:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

دو نکته مهم است. اول، گروه نام‌دار از * ارث نمی‌برد؛ پس هر مسیر خصوصی باید در گروه جستجو هم تکرار شود. دوم، Googlebot یا Applebot را به گروه آموزشی اضافه نکنید: این‌ها خزنده‌های جستجو هستند و مسدود کردنشان شما را از Google Search و قابلیت‌های جستجوی Apple حذف می‌کند. تغییرات فوری نیستند: OpenAI برای جستجو حدود 24 ساعت می‌گوید و Perplexity تا 24 ساعت.

چند سایت همین حالا این کار را می‌کنند؟

کمتر از آنچه انتظار دارید. ما در 2026-11-12 فایل‌های robots.txt هزار دامنه پربازدید فهرست Tranco را خواندیم. از 518 دامنه‌ای که robots.txt داشتند، 155 دامنه (29.9%) صفحه اصلی را دست‌کم برای یک خزنده آموزش هوش مصنوعی ممنوع کرده‌اند. فقط 57 دامنه (11.0%) راه گزینشی را انتخاب کرده‌اند: خزنده‌های آموزشی را مسدود و همه خزنده‌های جستجو و کاربر هوش مصنوعی را که آزمودیم مجاز کرده‌اند. در مجموع 101 سایت (19.5%) دست‌کم یک خزنده جستجو یا کاربر هوش مصنوعی را مسدود می‌کنند.

آمار تک‌تک خزنده‌ها هم همین شکاف را نشان می‌دهد. GPTBot در 111 سایت (21.4%) مسدود است و OAI-SearchBot در 58 سایت (11.2%). ClaudeBot در 110 سایت (21.2%) مسدود است و Claude-SearchBot در 67 سایت (12.9%). Google-Extended در 94 سایت (18.1%) و Googlebot در 14 سایت (2.7%). فقط 18 سایت (3.5%) از Content-Signal استفاده می‌کنند.

این بررسی فقط قوانین robots.txt برای صفحه اصلی را می‌سنجد. مسدودسازی فایروال را اندازه نمی‌گیرد و نشان نمی‌دهد قصد هر سایت چه بوده است.

Content-Signal چه چیزی اضافه می‌کند؟

Content Signals افزونه‌ای برای robots.txt است که Cloudflare در contentsignals.org منتشر کرده است. خط Content-Signal با سه سیگنال بیان می‌کند محتوا چطور می‌تواند استفاده شود: search (ساخت نمایه جستجو و نمایش لینک و گزیده‌های کوتاه)، ai-input (وارد کردن محتوا به مدل‌های هوش مصنوعی در لحظه، مانند grounding یا بازیابی برای پاسخ‌های تولیدی) و ai-train (آموزش یا تنظیم دقیق مدل‌ها).

توجه کنید که تعریف search خلاصه‌های جستجوی تولیدشده با هوش مصنوعی را شامل نمی‌شود. اگر می‌خواهید در پاسخ‌های هوش مصنوعی ظاهر شوید، مانند مثال بالا ai-input=yes را هم تنظیم کنید. robots.txt مدیریت‌شده Cloudflare به‌طور پیش‌فرض search=yes, ai-train=no را اضافه می‌کند؛ سیگنالی که ننویسید آن کاربرد را نه مجاز می‌کند و نه محدود.

این‌ها ترجیحات اعلام‌شده‌اند. سایت Content Signals می‌گوید این سیگنال‌ها از نظر فنی جلوی خزیدن را نمی‌گیرند و Cloudflare یادآوری می‌کند که پیروی از robots.txt داوطلبانه است. هیچ‌کدام از صفحه‌های خزنده OpenAI، Anthropic، Google یا Perplexity که بررسی کردیم نمی‌گویند Content-Signal را می‌خوانند یا نه؛ پس آن را مکمل گروه‌های جداگانه هر خزنده بدانید، نه جایگزین آن‌ها.

این تفکیک کجا به‌طور کامل کار نمی‌کند؟

چند مورد نیاز به دقت دارد:

چطور بررسی کنم که این تفکیک کار می‌کند؟

robots.txt خود را همان‌طور بخوانید که هر خزنده می‌خواند: گروهی را که نام آن را آورده پیدا کنید، فقط اگر چنین گروهی نبود سراغ * بروید و طولانی‌ترین قانون منطبق را اعمال کنید. سپس یک صفحه را با user agent هر خزنده جستجو درخواست کنید و مطمئن شوید پاسخ 200 با محتوای کامل می‌گیرد، نه 403 یا صفحه چالش.

AISeeWhy هر دو کار را برای 14 خزنده انجام می‌دهد، که به عامل‌های آموزشی، جستجو و کاربر دسته‌بندی شده‌اند، و رایج‌ترین اشتباه را علامت می‌زند: مسدود کردن یک توکن جستجو مانند PerplexityBot یا Claude-SearchBot به قصد مسدود کردن آموزش.

ابزارهای رایگان

قدم‌های بعدی

خزنده‌های این مقاله

پرسش‌های متداول

آیا مسدود کردن GPTBot سایت من را از پاسخ‌های ChatGPT حذف می‌کند؟

نه. OpenAI می‌گوید GPTBot برای آموزش است و هر تنظیم robots.txt مستقل است. جستجوی ChatGPT از OAI-SearchBot استفاده می‌کند؛ تا وقتی این خزنده مجاز باشد و فایروال شما آن را مسدود نکند، صفحه‌هایتان واجد شرایط می‌مانند.

آیا مسدود کردن Google-Extended من را از AI Overviews حذف می‌کند؟

طبق مستندات گوگل نه. Google می‌گوید Google-Extended روی حضور در Google Search اثری ندارد و AI Overviews از نمایه جستجو استفاده می‌کند. Google یک کنترل جداگانه در Search Console دارد تا سایت را از AI Overviews و AI Mode کنار بگذارد.

آیا یک خط وجود دارد که همه آموزش‌های هوش مصنوعی را مسدود کند؟

هیچ خط استانداردی این کار را نمی‌کند. Content-Signal: ai-train=no ترجیح شما را برای همه خزنده‌ها اعلام می‌کند، اما اینکه خزنده به آن احترام بگذارد به گرداننده آن بستگی دارد. گروه‌های نام‌دار برای هر توکن آموزشی راه مستندشده است.

آیا برای جلوگیری از آموزش هوش مصنوعی باید Perplexity را مسدود کنم؟

Perplexity می‌گوید عامل‌هایش برای جمع‌آوری داده آموزشی استفاده نمی‌شوند. مسدود کردن PerplexityBot بدون آنکه شما را از آموزش خارج کند، دیده شدن شما در نتایج جستجوی Perplexity را کم می‌کند.

منابع

مقاله‌های دیگر