چطور جلوی آموزش هوش مصنوعی را بگیریم اما در پاسخهای جستجوی هوش مصنوعی بمانیم
بیشتر شرکتهای هوش مصنوعی برای آموزش مدل و برای جستجو از توکنهای جداگانه robots.txt استفاده میکنند. توکنهای آموزشی مانند GPTBot، ClaudeBot، Google-Extended، Applebot-Extended، meta-externalagent و CCBot را ممنوع کنید و توکنهای جستجو و کاربر مانند OAI-SearchBot، Claude-SearchBot و PerplexityBot را مجاز کنید. یک خط Content-Signal هم اضافه کنید تا همین ترجیح را صریحاً اعلام کنید.
بسیاری از صاحبان سایت دو چیز را با هم میخواهند: نمیخواهند محتوایشان برای آموزش مدلهای هوش مصنوعی استفاده شود، اما میخواهند دستیارهای هوش مصنوعی صفحههایشان را پیدا کنند، از آنها نقل کنند و به آنها لینک دهند. چون شرکتهای بزرگ اکنون این کارها را میان خزندهها یا توکنهای مختلف تقسیم کردهاند، robots.txt میتواند هر دو انتخاب را بیان کند. مشکل اینجاست که نامها از شرکتی به شرکت دیگر فرق میکند، چند شرکت در این الگو نمیگنجند و یک خط اشتباه میتواند شما را بهجای دادههای آموزشی از پاسخهای هوش مصنوعی حذف کند.
در این صفحه
فرق خزنده آموزشی و خزنده جستجو چیست؟
خزنده آموزشی صفحههایی را جمع میکند که ممکن است برای ساخت یا بهبود مدلهای هوش مصنوعی استفاده شوند. آموزش بهتنهایی نه استنادی ایجاد میکند نه لینکی. خزنده جستجو نمایهای میسازد که دستیار هوش مصنوعی برای پیدا کردن منابع پاسخ از آن استفاده میکند، و همین منابع هستند که میتواند به آنها استناد کند. دریافتکنندهای که کاربر آن را فعال میکند، صفحه را همان لحظه باز میکند چون کسی درباره آن پرسیده است.
شرکتها این نقشها را جداگانه مستند میکنند و میگویند تنظیمات مستقل از هم هستند. برای مثال OpenAI میگوید هر تنظیم robots.txt برای خزندههایش مستقل از بقیه است. پس خارج شدن از آموزش، اگر درست انجام شود، به دیده شدن شما در جستجو دست نمیزند.
کدام توکنها آموزش را کنترل میکنند و کدام جستجو را؟
اینها توکنهایی هستند که شرکتها مستند کردهاند، به تفکیک آنچه کنترل میکنند:
- OpenAI:
GPTBotمحتوایی را میخزد که ممکن است برای آموزش مدلهای پایه آن استفاده شود.OAI-SearchBotبرای جستجوی ChatGPT است وChatGPT-Userکارهای کاربران را انجام میدهد؛ OpenAI میگوید ممکن است robots.txt روی آن اعمال نشود. - Anthropic:
ClaudeBotمحتوایی را جمع میکند که ممکن است در آموزش به کار رود.Claude-SearchBotنتایج جستجوی Claude را بهتر میکند وClaude-Userصفحهها را برای کاربران دریافت میکند. Anthropic میگوید رباتهایش به robots.txt احترام میگذارند. - Google:
Google-Extendedیک توکن robots.txt است و خزنده جداگانهای ندارد. استفاده در آموزش مدلهای آینده Gemini و در grounding برای Gemini Apps و Vertex AI را کنترل میکند. Google میگوید روی حضور یا رتبه در Google Search اثری ندارد؛ آن راGooglebotکنترل میکند. - Apple:
Applebot-Extendedنمیخزد؛ تعیین میکند آیا محتوایی کهApplebotخزیده برای آموزش مدلهای پایه Apple استفاده شود یا نه. Apple میگوید صفحههایی که آن را ممنوع میکنند همچنان میتوانند در نتایج جستجوی آن نمایش داده شوند. - Meta:
meta-externalagentبرای کاربردهایی مانند آموزش مدلهای پایه میخزد، در حالی کهmeta-webindexerنتایج جستجوی Meta AI را بهتر میکند. - Common Crawl:
CCBotبایگانی عمومی وب Common Crawl را میسازد. robots.txt مدیریتشده Cloudflare آن را در میان خزندههای آموزش هوش مصنوعی که ممنوع میکند فهرست کرده است. - Perplexity:
PerplexityBotوPerplexity-Userبرای جستجو و درخواستهای کاربران هستند. Perplexity میگوید هیچکدام برای جمعآوری داده آموزشی استفاده نمیشوند؛ پس توکن آموزشی Perplexity برای مسدود کردن وجود ندارد.
robots.txt چه شکلی است؟
طبق RFC 9309 چند خط User-agent پشت سر هم یک گروه میسازند، پس قوانین روی همه آنها اعمال میشود. این فایل توکنهای آموزشی بالا را کنار میگذارد، عاملهای جستجو و کاربر را مجاز میکند و یک مسیر خصوصی را برای همه بسته نگه میدارد:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml دو نکته مهم است. اول، گروه نامدار از * ارث نمیبرد؛ پس هر مسیر خصوصی باید در گروه جستجو هم تکرار شود. دوم، Googlebot یا Applebot را به گروه آموزشی اضافه نکنید: اینها خزندههای جستجو هستند و مسدود کردنشان شما را از Google Search و قابلیتهای جستجوی Apple حذف میکند. تغییرات فوری نیستند: OpenAI برای جستجو حدود 24 ساعت میگوید و Perplexity تا 24 ساعت.
چند سایت همین حالا این کار را میکنند؟
کمتر از آنچه انتظار دارید. ما در 2026-11-12 فایلهای robots.txt هزار دامنه پربازدید فهرست Tranco را خواندیم. از 518 دامنهای که robots.txt داشتند، 155 دامنه (29.9%) صفحه اصلی را دستکم برای یک خزنده آموزش هوش مصنوعی ممنوع کردهاند. فقط 57 دامنه (11.0%) راه گزینشی را انتخاب کردهاند: خزندههای آموزشی را مسدود و همه خزندههای جستجو و کاربر هوش مصنوعی را که آزمودیم مجاز کردهاند. در مجموع 101 سایت (19.5%) دستکم یک خزنده جستجو یا کاربر هوش مصنوعی را مسدود میکنند.
آمار تکتک خزندهها هم همین شکاف را نشان میدهد. GPTBot در 111 سایت (21.4%) مسدود است و OAI-SearchBot در 58 سایت (11.2%). ClaudeBot در 110 سایت (21.2%) مسدود است و Claude-SearchBot در 67 سایت (12.9%). Google-Extended در 94 سایت (18.1%) و Googlebot در 14 سایت (2.7%). فقط 18 سایت (3.5%) از Content-Signal استفاده میکنند.
این بررسی فقط قوانین robots.txt برای صفحه اصلی را میسنجد. مسدودسازی فایروال را اندازه نمیگیرد و نشان نمیدهد قصد هر سایت چه بوده است.
Content-Signal چه چیزی اضافه میکند؟
Content Signals افزونهای برای robots.txt است که Cloudflare در contentsignals.org منتشر کرده است. خط Content-Signal با سه سیگنال بیان میکند محتوا چطور میتواند استفاده شود: search (ساخت نمایه جستجو و نمایش لینک و گزیدههای کوتاه)، ai-input (وارد کردن محتوا به مدلهای هوش مصنوعی در لحظه، مانند grounding یا بازیابی برای پاسخهای تولیدی) و ai-train (آموزش یا تنظیم دقیق مدلها).
توجه کنید که تعریف search خلاصههای جستجوی تولیدشده با هوش مصنوعی را شامل نمیشود. اگر میخواهید در پاسخهای هوش مصنوعی ظاهر شوید، مانند مثال بالا ai-input=yes را هم تنظیم کنید. robots.txt مدیریتشده Cloudflare بهطور پیشفرض search=yes, ai-train=no را اضافه میکند؛ سیگنالی که ننویسید آن کاربرد را نه مجاز میکند و نه محدود.
اینها ترجیحات اعلامشدهاند. سایت Content Signals میگوید این سیگنالها از نظر فنی جلوی خزیدن را نمیگیرند و Cloudflare یادآوری میکند که پیروی از robots.txt داوطلبانه است. هیچکدام از صفحههای خزنده OpenAI، Anthropic، Google یا Perplexity که بررسی کردیم نمیگویند Content-Signal را میخوانند یا نه؛ پس آن را مکمل گروههای جداگانه هر خزنده بدانید، نه جایگزین آنها.
این تفکیک کجا بهطور کامل کار نمیکند؟
چند مورد نیاز به دقت دارد:
- AI Overviews و AI Mode گوگل از نمایه جستجویی استفاده میکنند که
Googlebotمیسازد؛ پسGoogle-Extendedشما را از آنها خارج نمیکند. راهنمای Search Console گوگل اضافه میکند کهGoogle-Extendedآموزش مدلهای پشت قابلیتهای هوش مصنوعی تولیدی Search را محدود میکند؛ دامنهای که مستندات خزنده آن ذکر نمیکند. Google اکنون یک تنظیم جداگانه در Search Console ارائه میدهد تا سایت را از AI Overviews و AI Mode کنار بگذارد. - OpenAI میگوید اگر سایتی هم
GPTBotو همOAI-SearchBotرا مجاز کند، ممکن است نتایج یک بار خزیدن را برای هر دو هدف استفاده کند. ممنوع کردنGPTBotاست که نشان میدهد محتوا نباید برای آموزش استفاده شود. - خارج شدن از آموزش رو به آینده است. برای مثال Anthropic ممنوع کردن
ClaudeBotرا کنار گذاشتن محتوای آینده سایت شما از مجموعهدادههای آموزشی توصیف میکند. - دریافتکنندههایی که کاربر فعال میکند در میانه قرار دارند. OpenAI و Perplexity میگویند ممکن است robots.txt روی
ChatGPT-Userاعمال نشود و رویPerplexity-Userمعمولاً اعمال نمیشود. - فایروالها robots.txt را نمیخوانند. یک قانون گسترده مسدودسازی ربات میتواند جلوی خزندههای جستجویی را که مجاز کردهاید بگیرد. اگر مسدودسازی آموزش را در فایروال اعمال میکنید، عاملهای آموزشی را با نام تطبیق دهید و با بازههای IP منتشرشدهشان تأیید کنید.
چطور بررسی کنم که این تفکیک کار میکند؟
robots.txt خود را همانطور بخوانید که هر خزنده میخواند: گروهی را که نام آن را آورده پیدا کنید، فقط اگر چنین گروهی نبود سراغ * بروید و طولانیترین قانون منطبق را اعمال کنید. سپس یک صفحه را با user agent هر خزنده جستجو درخواست کنید و مطمئن شوید پاسخ 200 با محتوای کامل میگیرد، نه 403 یا صفحه چالش.
AISeeWhy هر دو کار را برای 14 خزنده انجام میدهد، که به عاملهای آموزشی، جستجو و کاربر دستهبندی شدهاند، و رایجترین اشتباه را علامت میزند: مسدود کردن یک توکن جستجو مانند PerplexityBot یا Claude-SearchBot به قصد مسدود کردن آموزش.
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسی IP خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
آیا مسدود کردن GPTBot سایت من را از پاسخهای ChatGPT حذف میکند؟
نه. OpenAI میگوید GPTBot برای آموزش است و هر تنظیم robots.txt مستقل است. جستجوی ChatGPT از OAI-SearchBot استفاده میکند؛ تا وقتی این خزنده مجاز باشد و فایروال شما آن را مسدود نکند، صفحههایتان واجد شرایط میمانند.
آیا مسدود کردن Google-Extended من را از AI Overviews حذف میکند؟
طبق مستندات گوگل نه. Google میگوید Google-Extended روی حضور در Google Search اثری ندارد و AI Overviews از نمایه جستجو استفاده میکند. Google یک کنترل جداگانه در Search Console دارد تا سایت را از AI Overviews و AI Mode کنار بگذارد.
آیا یک خط وجود دارد که همه آموزشهای هوش مصنوعی را مسدود کند؟
هیچ خط استانداردی این کار را نمیکند. Content-Signal: ai-train=no ترجیح شما را برای همه خزندهها اعلام میکند، اما اینکه خزنده به آن احترام بگذارد به گرداننده آن بستگی دارد. گروههای نامدار برای هر توکن آموزشی راه مستندشده است.
آیا برای جلوگیری از آموزش هوش مصنوعی باید Perplexity را مسدود کنم؟
Perplexity میگوید عاملهایش برای جمعآوری داده آموزشی استفاده نمیشوند. مسدود کردن PerplexityBot بدون آنکه شما را از آموزش خارج کند، دیده شدن شما در نتایج جستجوی Perplexity را کم میکند.
منابع
- OpenAI: مروری بر خزندههای OpenAI
- Anthropic: آیا Anthropic دادهها را از وب میخزد و صاحبان سایت چطور میتوانند خزنده را مسدود کنند؟
- Google: خزندههای رایج، از جمله Google-Extended
- راهنمای Google Search Console: کنترل هوش مصنوعی تولیدی در جستجو
- Apple: درباره Applebot
- Meta: خزندههای وب Meta
- Common Crawl: CCBot
- Perplexity: خزندههای Perplexity
- RFC 9309: پروتکل استثنای رباتها (Robots Exclusion Protocol)
- Content Signals (contentsignals.org)
- Cloudflare: robots.txt مدیریتشده و Content Signals
- AISeeWhy: گزارش دسترسی خزندههای هوش مصنوعی، 2026-11