Content-Signal در robots.txt چیست و آیا کسی از آن پیروی میکند؟
Content-Signal یک خط اختیاری در robots.txt است که Cloudflare منتشر کرده و میگوید محتوای شما پس از دریافت چطور میتواند استفاده شود: search برای نتایج جستجو، ai-input برای وارد کردن آن به پاسخهای هوش مصنوعی و ai-train برای آموزش مدلها، هر کدام با مقدار yes یا no، مثل Content-Signal: search=yes, ai-input=yes, ai-train=no. این خط یک ترجیح را بیان میکند و چیزی را مسدود نمیکند. تا نوامبر 2026 هیچکدام از صفحههای خزنده OpenAI، Anthropic، Google یا Perplexity نمیگویند آن را میخوانند، در حالی که شرکتهای بزرگ هوش مصنوعی از توکن دیگری که فقط به آموزش مربوط است حمایت کردهاند.
robots.txt ساخته شد تا بگوید یک خزنده کجا میتواند برود، نه اینکه با آنچه میخواند چه میتوان کرد. وقتی یک دریافت واحد توانست هم ایندکس جستجو، هم پاسخ لحظهای هوش مصنوعی و هم مجموعه داده آموزشی را تغذیه کند، این خلأ مهم شد. Cloudflare در 24 سپتامبر 2025 سیاست Content Signals را با مجوز CC0 برای پر کردن آن منتشر کرد و همان موقع گفت مشتریانش robots.txt مدیریتشده را برای بیش از 3.8 میلیون دامنه روشن کردهاند؛ قابلیتی که حالا این خط را برایشان اضافه میکند.
در این صفحه
- search، ai-input و ai-train یعنی چه؟
- چطور خط Content-Signal را در robots.txt بنویسم؟
- متن سیاست بالای این خط چه میگوید؟
- آیا Content-Signal از قبل در robots.txt من هست؟
- آیا خزندههای هوش مصنوعی از Content-Signal پیروی میکنند؟
- آیا باید Content-Signal را به robots.txt خود اضافه کنم؟
- چطور بررسی کنم robots.txt من به هر خزنده چه میگوید؟
search، ai-input و ai-train یعنی چه؟
این سیاست سه سیگنال تعریف میکند. عبارتهای زیر از contentsignals.org و متن سیاستی که Cloudflare منتشر میکند پیروی میکنند:
search: ساختن ایندکس جستجو و ارائه نتایج جستجو، مثلاً برگرداندن پیوندها و گزیدههای کوتاه از صفحههای شما. طبق تعریف، search شامل خلاصههای جستجوی تولیدشده با هوش مصنوعی نمیشود.ai-input: وارد کردن محتوا به یک یا چند مدل هوش مصنوعی، مثلاً تولید افزوده با بازیابی (RAG)، grounding یا دیگر استفادههای لحظهای از محتوا برای پاسخهای جستجوی هوش مصنوعی مولد.ai-train: آموزش یا تنظیم دقیق (fine-tuning) مدلهای هوش مصنوعی.
هر سیگنال مقدار yes یا no میگیرد. طبق شرایط این سیاست، yes یعنی محتوا میتواند برای آن کاربرد جمعآوری شود، no یعنی نمیتواند و سیگنالی که ننویسید آن کاربرد را نه مجاز میکند نه محدود. پیشفرض Cloudflare مقدار search و ai-train را تعیین میکند و ai-input را خالی میگذارد، چون میگوید ترجیح هر مشتری را برای این سیگنال نمیداند و نمیخواهد حدس بزند.
تفاوت search و ai-input همان چیزی است که بیشتر افراد از آن غافل میشوند. اگر میخواهید صفحههایتان در پاسخهای هوش مصنوعی استفاده شوند، search=yes بهتنهایی این را نمیگوید. ai-input=yes میگوید.
چطور خط Content-Signal را در robots.txt بنویسم؟
Content-Signal داخل یک گروه user agent و کنار Allow و Disallow قرار میگیرد و سیگنالها با ویرگول جدا میشوند. contentsignals.org شکلی را هم نشان میدهد که با یک مسیر شروع میشود تا بخشی از سایت بتواند سیگنالهایی متفاوت از بقیه داشته باشد:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow و Disallow دقیقاً مثل قبل کار میکنند و Content-Signal جایگزین آنها نمیشود. RFC 9309 به خزندهها اجازه میدهد رکوردهایی را که جزو پروتکل نیستند تفسیر کنند، به شرطی که با قوانین تعریفشده تداخل نداشته باشد، پس تجزیهگری که این خط را نمیشناسد باید از آن بگذرد.
دو نکته را باید دانست. اول، این خط به یک گروه تعلق دارد. طبق RFC 9309 خزندهای که گروهی با نام خودش دارد گروه User-agent: * را کاملاً نادیده میگیرد و صفحههای Content Signals هیچ استثنایی برای این خط توصیف نمیکنند. اگر به Googlebot یا OAI-SearchBot گروه جداگانهای میدهید، خط Content-Signal را آنجا تکرار کنید، همانطور که contentsignals.org در نمونه مخصوص هر خزنده انجام میدهد. دوم، Google Search Console ممکن است برای این خط Syntax not understood گزارش کند. مستندات Cloudflare به این اشاره میکند و میگوید هیچ اثری روی خزش یا سئو مشاهده نکرده است. مستندات robots.txt گوگل فقط user-agent، allow، disallow و sitemap را بهعنوان فیلدهای پشتیبانیشده فهرست میکند.
متن سیاست بالای این خط چه میگوید؟
سیاست Content Signals بیش از یک خط است. هم مولد Cloudflare در contentsignals.org و هم robots.txt مدیریتشده آن، یک بلوک توضیح (comment) بالای سیگنالها قرار میدهند. این بلوک با این جمله شروع میشود که شما بهعنوان شرط دسترسی به وبسایت، میپذیرید که از سیگنالهای محتوا پیروی کنید، سپس سه سیگنال و حالتهای yes، no و نبودن مقدار را تعریف میکند.
بلوک با جملهای با حروف بزرگ تمام میشود که میگوید هر محدودیتی که از طریق سیگنالهای محتوا بیان شود، حفظ صریح حقوق طبق ماده 4 دستورالعمل 2019/790 اتحادیه اروپا درباره حق نشر در بازار واحد دیجیتال است. اطلاعیه Cloudflare اضافه میکند که این سیگنالها ممکن است در حوزههای قضایی مختلف اعتبار حقوقی داشته باشند.
خود contentsignals.org هشدار میدهد که دادگاهها و نهادهای ناظر ممکن است نتیجه بگیرند فایلهای robots.txt تعهد حقوقی قابل اجرا ایجاد نمیکنند و پیشنهاد میکند با یک وکیل مشورت کنید. بلوک توضیح را بیانیه مکتوب موضع خود بدانید، نه یک قرارداد.
آیا Content-Signal از قبل در robots.txt من هست؟
اگر سایت شما روی Cloudflare است، ممکن است باشد، به یکی از دو روش:
- robots.txt مدیریتشده. وقتی Bot Preference Sync روشن است و دستکم یکی از AI Crawler and Agent access policies روی Block، Block on pages with ads یا، برای Training، روی Disallow تنظیم شده باشد، Cloudflare یک بلوک مدیریتشده به ابتدای robots.txt که سرور شما میفرستد اضافه میکند. این بلوک شامل متن سیاست،
Content-signal: search=yes, ai-train=no, use=referenceزیرUser-Agent: *وDisallow: /برایAmazonbot،Applebot-Extended،Bytespider،CCBot،ClaudeBot،Google-Extended،GPTBotوmeta-externalagentاست. - اصلاً robots.txt ندارید. Cloudflare میگوید دامنههای طرح Free که robots.txt خودشان را ندارند و از قابلیت مدیریتشده استفاده نمیکنند، وقتی خزندهای
/robots.txtرا درخواست کند سیاست Content Signals را نشان میدهند. این نسخه تعریفها را دارد اما هیچ ترجیحی بیان نمیکند.
بخش use=reference تازه است. Cloudflare فیلد use را فیلد چهارم اختیاریای توصیف میکند که در حال آزمایش آن است، با سه مقدار: immediate (تعامل، اما بدون ذخیره و استفاده دوباره)، reference (ایندکس، گزیده و پیوند به منبع) و full (خلاصهسازی و بازتولید). این فیلد جزو سه سیگنال اصلی نیست و هیچکدام از مستندات خزندهای که بررسی کردیم به آن اشاره نمیکند.
چون Cloudflare این خطوط را در لبه شبکه اضافه میکند، فایل موجود در مخزن شما ممکن است بدون تغییر به نظر برسد در حالی که فایلی که خزندهها دریافت میکنند فرق دارد. پیش از اضافه کردن خط خودتان، https://yourdomain.com/robots.txt زنده را دریافت کنید تا پاسخ دو سیاست متفاوت بیان نکند.
استفاده از آن در سایتهای بزرگ هنوز کم است. در بررسی نوامبر 2026 ما روی 1000 دامنه پربازدید، از 518 سایتی که robots.txt داشتند، 18 سایت (3.5%) از Content-Signal استفاده میکردند.
آیا خزندههای هوش مصنوعی از Content-Signal پیروی میکنند؟
طبق هیچ مستندی که پیدا کردیم، نه. در 17 نوامبر 2026 صفحههای خزنده OpenAI، Anthropic، Google و Perplexity را بررسی کردیم و هیچکدام به Content-Signal اشاره نمیکنند. خود Cloudflare این سیگنالها را ترجیح توصیف میکند، نه ابزار فنی مقابله با استخراج محتوا، و میگوید برخی شرکتها ممکن است بهسادگی آنها را نادیده بگیرند.
چیزی که شرکتهای هوش مصنوعی بهجای آن مستند کردهاند سازوکار جداگانهای است که بر پایه کار گروه کاری AI Preferences در IETF ساخته شده: یک توکن سیاست، __usage_ai-training، که مثل یک گروه معمولی User-Agent نوشته میشود. این توکن فقط آموزش را پوشش میدهد و پیشنویس اینترنتی (Internet-Draft) که آن را تعریف میکند میگوید گروه User-Agent: * به معنای استفاده از این توکن نیست:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ پشتیبانی یکدست نیست و بخشی از آن هنوز در راه است. Anthropic میگوید از 30 اکتبر 2026 یک سیگنال عمومی ماشینخوان برای آموزش را تشخیص میدهد، آن را بهتدریج اجرا میکند و قانونی که نام ClaudeBot را بیاورد بر آن اولویت دارد. Microsoft توکن __usage_ai-training را برای Bing مستند کرده و ترجیحات جدیدش از 1 فوریه 2027 با خزش صفحهها اعمال میشود. Google میگوید قصد دارد در 2027 از این کنترل مشترک پشتیبانی کند و برنامه دارد انصراف از آموزش از این طریق را، وقتی نام آن توکن نیامده باشد، مثل ممنوعیت Google-Extended در نظر بگیرد. OpenAI همان روز اطلاعیهای منتشر کرد که میگوید از این سیگنال مشترک پیروی خواهد کرد، بدون ذکر تاریخ.
پس ai-train=no و __usage_ai-training چیزهای مشابهی میگویند، اما فقط دومی پشتیبانی مستند از سوی شرکتهای هوش مصنوعی دارد. توکنهای مخصوص هر خزنده، مثل GPTBot و ClaudeBot، همچنان کنترلهایی هستند که هر سازنده امروز اعمال میکند.
آیا باید Content-Signal را به robots.txt خود اضافه کنم؟
اگر میخواهید سیاست استفادهتان در یک جا و به شکلی که ماشینها و آدمها بتوانند بخوانند مکتوب باشد، اضافهاش کنید. این خط همچنین ترجیح ai-input را برای همه خزندهها در یک خط بیان میکند، چیزی که توکنهای سازندگان فقط خزنده به خزنده میتوانند بیان کنند. هزینهاش یک خط است و تجزیهگرهایی که آن را نمیشناسند از آن میگذرند.
فقط به آن تکیه نکنید. برای دور نگه داشتن محتوا از آموزش، توکنهای آموزشی مستندشده را هم ممنوع کنید و توکن آموزشی مشترک را هم در نظر بگیرید؛ راهنمای ما درباره مسدود کردن آموزش هوش مصنوعی و ماندن در جستجوی هوش مصنوعی توکنهای هر سازنده را فهرست میکند. برای هر چیزی که robots.txt را نادیده میگیرد، فقط قانون فایروال مسدودسازی را اجرا میکند.
در پایان، بررسی کنید این خط با بقیه فایل همخوان باشد. ai-input=no در کنار گروه Allow برای OAI-SearchBot یا PerplexityBot پیام متناقض میفرستد: به خزندههای جستجوی هوش مصنوعی اجازه ورود میدهید و همزمان میگویید پاسخهایشان نمیتوانند از آنچه دریافت میکنند استفاده کنند.
چطور بررسی کنم robots.txt من به هر خزنده چه میگوید؟
بررسیکننده رایگان robots.txt در AISeeWhy نشانی یک صفحه یا یک robots.txt چسباندهشده را میگیرد و برای هر خزنده هوش مصنوعی و موتور جستجو نشان میدهد آیا آن صفحه قابل دریافت است، تا مطمئن شوید فایل زنده، همراه با هر چیزی که Cloudflare به ابتدایش اضافه کرده، همان را میگوید که منظورتان بود. مولد رایگان robots.txt هم فایلی بر اساس انتخابهای شما مینویسد.
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
آیا Content-Signal جزو استاندارد robots.txt است؟
نه. RFC 9309 فیلدهای User-agent، Allow و Disallow را تعریف میکند و به خزندهها اجازه میدهد رکوردهای دیگر را تفسیر کنند. Content-Signal از سیاست Content Signals شرکت Cloudflare میآید که با مجوز CC0 منتشر شده است. جدا از آن، گروه کاری AI Preferences در IETF در حال نوشتن قانون Content-Usage خودش برای robots.txt است که هنوز پیشنویس اینترنتی است، نه استاندارد.
آیا ai-train=no جلوی GPTBot یا ClaudeBot را میگیرد؟
تا جایی که سازندگان مستند کردهاند، نه. OpenAI و Anthropic کنترل را از طریق قوانین robots.txt که نام GPTBot و ClaudeBot را میآورند توصیف میکنند و صفحه هیچکدام از این خزندهها به Content-Signal اشاره نمیکند. برای انصراف از آموزش با هر کدام، توکن را با نامش ممنوع کنید.
تفاوت Content-Signal و __usage_ai-training چیست؟
Content-Signal خطی داخل یک گروه است و جستجو، ورودی هوش مصنوعی و آموزش را پوشش میدهد. __usage_ai-training توکن سیاستی است که بهعنوان گروه User-Agent جداگانه استفاده میشود و فقط آموزش را پوشش میدهد. Anthropic، Microsoft، Google و OpenAI درباره سیگنال آموزشی مشترک بیانیه منتشر کردهاند؛ هیچکدام Content-Signal را مستند نکردهاند.
چرا Google Search Console پیام Syntax not understood میدهد؟
مستندات robots.txt گوگل فقط از user-agent، allow، disallow و sitemap پشتیبانی میکند، پس خطوط دیگر ممکن است علامتگذاری شوند. Cloudflare میگوید هیچ اثری از این گزارشها روی نرخ خزش یا سئو مشاهده نکرده است.
use=reference یعنی چه؟
فیلد چهارمی است که Cloudflare در حال آزمایش آن است. reference یعنی ایندکس، گزیده و پیوند به منبع. Cloudflare آن را به فایلهای robots.txt مدیریتشده اضافه میکند و هیچ مستند خزندهای که بررسی کردیم به آن اشاره نمیکند.
منابع
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: گزارش دسترسی خزندههای هوش مصنوعی، 2026-11