robots.txt میں Content-Signal کیا ہے، اور کیا کوئی اس پر عمل کرتا ہے؟

شائع شدہ

مختصر جواب

Content-Signal، robots.txt کی ایک اختیاری لائن ہے جو Cloudflare نے شائع کی، اور بتاتی ہے کہ منگوائے جانے کے بعد آپ کا مواد کیسے استعمال ہو سکتا ہے: سرچ نتائج کے لیے search، AI جوابات میں ڈالنے کے لیے ai-input اور ماڈلز کی ٹریننگ کے لیے ai-train، ہر ایک yes یا no پر سیٹ، جیسے Content-Signal: search=yes, ai-input=yes, ai-train=no۔ یہ ترجیح ظاہر کرتی ہے اور کچھ بلاک نہیں کرتی۔ نومبر 2026 تک OpenAI، Anthropic، Google یا Perplexity کے کرالر صفحات میں سے کوئی نہیں کہتا کہ وہ اسے پڑھتا ہے، جبکہ بڑی AI کمپنیوں نے اس کے بجائے ایک الگ، صرف ٹریننگ والے ٹوکن کی حمایت کی ہے۔

robots.txt یہ بتانے کے لیے بنا تھا کہ کرالر کہاں جا سکتا ہے، یہ نہیں کہ جو وہ پڑھے اس کے ساتھ کیا کیا جا سکتا ہے۔ جب ایک ہی fetch سرچ انڈیکس، لائیو AI جواب اور ٹریننگ سیٹ تینوں کو مواد دینے لگی تو یہ خلا اہم ہو گیا۔ اسے بھرنے کے لیے Cloudflare نے 24 ستمبر 2025 کو CC0 لائسنس کے تحت Content Signals Policy شائع کی، اور اس وقت کہا کہ اس کے صارفین 38 لاکھ سے زیادہ ڈومینز کے لیے managed robots.txt پہلے ہی آن کر چکے ہیں، جو فیچر اب ان کے لیے یہ لائن شامل کرتا ہے۔

اس صفحے پر
  1. search، ai-input اور ai-train کا کیا مطلب ہے؟
  2. robots.txt میں Content-Signal لائن کیسے لکھوں؟
  3. لائن کے اوپر والا پالیسی متن کیا کہتا ہے؟
  4. کیا Content-Signal پہلے سے میرے robots.txt میں ہے؟
  5. کیا AI کرالرز Content-Signal پر عمل کرتے ہیں؟
  6. کیا مجھے اپنے robots.txt میں Content-Signal شامل کرنا چاہیے؟
  7. کیسے جانچوں کہ میرا robots.txt ہر کرالر کو کیا بتاتا ہے؟

search، ai-input اور ai-train کا کیا مطلب ہے؟

پالیسی تین سگنلز کی تعریف کرتی ہے۔ نیچے کے الفاظ contentsignals.org اور Cloudflare کے شائع کردہ پالیسی متن کے مطابق ہیں:

ہر سگنل yes یا no لیتا ہے۔ پالیسی کی اصطلاح میں yes کا مطلب ہے کہ مواد اس استعمال کے لیے جمع کیا جا سکتا ہے، no کا مطلب ہے کہ نہیں، اور جو سگنل آپ چھوڑ دیں وہ اس استعمال کی نہ اجازت دیتا ہے نہ پابندی لگاتا ہے۔ Cloudflare کی ڈیفالٹ سیٹنگ search اور ai-train سیٹ کرتی ہے اور ai-input خالی چھوڑتی ہے، کیونکہ وہ کہتا ہے کہ اسے اس سگنل کے بارے میں ہر صارف کی ترجیح معلوم نہیں اور وہ اندازہ نہیں لگانا چاہتا۔

search اور ai-input کا فرق وہ ہے جو زیادہ تر لوگوں سے رہ جاتا ہے۔ اگر آپ چاہتے ہیں کہ آپ کے صفحات AI جوابات میں استعمال ہوں تو صرف search=yes یہ نہیں کہتا۔ ai-input=yes کہتا ہے۔

robots.txt میں Content-Signal لائن کیسے لکھوں؟

Content-Signal کسی یوزر ایجنٹ گروپ کے اندر، Allow اور Disallow کے ساتھ جاتی ہے، اور سگنلز کوما سے الگ ہوتے ہیں۔ contentsignals.org ایک ایسی شکل بھی دکھاتا ہے جو path سے شروع ہوتی ہے، تاکہ سائٹ کا ایک حصہ باقی سے مختلف سگنلز رکھ سکے:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow اور Disallow پہلے کی طرح ہی کام کرتے رہتے ہیں، اور Content-Signal ان کی جگہ نہیں لیتی۔ RFC 9309 کرالرز کو ایسے ریکارڈز کی تشریح کی اجازت دیتا ہے جو پروٹوکول کا حصہ نہیں، بشرطیکہ اس سے طے شدہ اصولوں میں خلل نہ پڑے، اس لیے جو parser یہ لائن نہیں جانتا اسے اسے چھوڑ دینا چاہیے۔

دو تفصیلات جاننے کے قابل ہیں۔ پہلی، یہ لائن کسی گروپ سے تعلق رکھتی ہے۔ RFC 9309 کے تحت جس کرالر کا اپنے نام والا گروپ ہو وہ User-agent: * گروپ کو مکمل طور پر نظر انداز کرتا ہے، اور Content Signals کے صفحات اس لائن کے لیے کوئی استثنا بیان نہیں کرتے۔ اگر آپ Googlebot یا OAI-SearchBot کو الگ گروپ دیتے ہیں تو وہاں Content-Signal لائن دہرائیں، جیسا کہ contentsignals.org اپنی ہر کرالر والی مثال میں کرتا ہے۔ دوسری، Google Search Console اس لائن کے لیے Syntax not understood دکھا سکتا ہے۔ Cloudflare کی دستاویزات اس کا ذکر کرتی ہیں اور کہتی ہیں کہ کرالنگ یا SEO پر کوئی اثر نہیں دیکھا گیا۔ Google کی robots.txt دستاویزات صرف user-agent، allow، disallow اور sitemap کو سپورٹ شدہ فیلڈز بتاتی ہیں۔

لائن کے اوپر والا پالیسی متن کیا کہتا ہے؟

Content Signals Policy ایک لائن سے زیادہ ہے۔ contentsignals.org پر Cloudflare کا جنریٹر اور اس کا managed robots.txt دونوں سگنلز کے اوپر comments کا ایک بلاک رکھتے ہیں۔ یہ اس بات سے شروع ہوتا ہے کہ ویب سائٹ تک رسائی کی شرط کے طور پر آپ content signals کی پابندی پر متفق ہیں، پھر تینوں سگنلز اور yes، no اور غیر موجود سگنل والی صورتوں کی تعریف کرتا ہے۔

یہ بڑے حروف میں لکھے ایک جملے پر ختم ہوتا ہے کہ content signals کے ذریعے ظاہر کی گئی کوئی بھی پابندی، Digital Single Market میں کاپی رائٹ سے متعلق EU Directive 2019/790 کے آرٹیکل 4 کے تحت حقوق کا واضح تحفظ ہے۔ Cloudflare کا اعلان مزید کہتا ہے کہ مختلف دائرہ اختیار میں ان سگنلز کا قانونی وزن ہو سکتا ہے۔

contentsignals.org خود خبردار کرتا ہے کہ عدالتیں اور ریگولیٹرز اس نتیجے پر پہنچ سکتے ہیں کہ robots.txt فائلیں قابل نفاذ قانونی ذمہ داریاں عائد نہیں کرتیں، اور وکیل سے مشورے کا کہتا ہے۔ comment بلاک کو اپنے مؤقف کا تحریری بیان سمجھیں، معاہدہ نہیں۔

کیا Content-Signal پہلے سے میرے robots.txt میں ہے؟

اگر آپ کی سائٹ Cloudflare پر ہے تو ہو سکتا ہے، دو میں سے کسی ایک طریقے سے:

use=reference والا حصہ نیا ہے۔ Cloudflare، use کو ایک اختیاری چوتھا فیلڈ بتاتا ہے جسے وہ آزما رہا ہے، تین ویلیوز کے ساتھ: immediate (تعامل کریں، لیکن کچھ محفوظ یا دوبارہ استعمال نہ کریں)، reference (انڈیکس کریں، اقتباس دیں اور واپس لنک دیں) اور full (خلاصہ کریں اور دوبارہ پیش کریں)۔ یہ تین اصل سگنلز میں سے نہیں، اور ہماری جانچی گئی کسی کرالر دستاویز میں اس کا ذکر نہیں۔

چونکہ Cloudflare یہ لائنیں edge پر جوڑتا ہے، اس لیے آپ کی repository والی فائل بغیر تبدیلی کے لگ سکتی ہے جبکہ کرالرز کو ملنے والی فائل مختلف ہوتی ہے۔ اپنی لائن شامل کرنے سے پہلے لائیو https://yourdomain.com/robots.txt منگوائیں، تاکہ جواب میں دو مختلف پالیسیاں نہ ہوں۔

بڑی سائٹس میں اس کا استعمال ابھی کم ہے۔ نومبر 2026 میں 1,000 مقبول ترین ڈومینز پر ہماری تحقیق میں robots.txt دینے والی 518 سائٹس میں سے 18 (3.5%) نے Content-Signal استعمال کیا۔

کیا AI کرالرز Content-Signal پر عمل کرتے ہیں؟

ہمیں ملنے والی کسی دستاویز کے مطابق نہیں۔ 17 نومبر 2026 کو ہم نے OpenAI، Anthropic، Google اور Perplexity کے کرالر صفحات جانچے، اور ان میں سے کوئی Content-Signal کا ذکر نہیں کرتا۔ Cloudflare خود سگنلز کو ترجیحات کہتا ہے، scraping کے خلاف تکنیکی رکاوٹیں نہیں، اور کہتا ہے کہ کچھ کمپنیاں انہیں سیدھا نظر انداز کر سکتی ہیں۔

اس کے بجائے AI کمپنیوں نے IETF AI Preferences ورکنگ گروپ کے کام پر مبنی ایک الگ طریقے کی دستاویز دی ہے: ایک پالیسی ٹوکن، __usage_ai-training، جو عام User-Agent گروپ کی طرح لکھا جاتا ہے۔ یہ صرف ٹریننگ پر لاگو ہوتا ہے، اور اس کی تعریف کرنے والا Internet-Draft کہتا ہے کہ User-Agent: * گروپ کو ٹوکن کا استعمال نہیں مانا جاتا:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

سپورٹ ناہموار ہے اور کچھ ابھی آنی ہے۔ Anthropic کہتا ہے کہ وہ 30 اکتوبر 2026 سے ایک عمومی، مشین کے پڑھنے کے قابل ٹریننگ سگنل پہچانتا ہے، اسے بتدریج نافذ کر رہا ہے، اور ClaudeBot کا نام لینے والا اصول اس پر ترجیح رکھتا ہے۔ Microsoft، Bing کے لیے __usage_ai-training ٹوکن کی دستاویز دیتا ہے، اور اس کی نئی ترجیحات 1 فروری 2027 سے صفحات کرال ہونے کے ساتھ لاگو ہوں گی۔ Google کہتا ہے کہ اس کا ارادہ 2027 میں اس مشترکہ کنٹرول کو سپورٹ کرنے کا ہے اور جب Google-Extended کا نام نہ ہو تو اس کے ذریعے ٹریننگ opt-out کو اس ٹوکن کی ممانعت سمجھنے کا منصوبہ ہے۔ OpenAI نے اسی دن ایک اعلان شائع کیا کہ وہ مشترکہ سگنل کا احترام کرے گا، بغیر کسی تاریخ کے۔

اس لیے ai-train=no اور __usage_ai-training ملتی جلتی بات کہتے ہیں، لیکن AI کمپنیوں کی دستاویزی سپورٹ صرف دوسرے کو حاصل ہے۔ ہر کرالر کے اپنے ٹوکن، جیسے GPTBot اور ClaudeBot، وہی کنٹرولز ہیں جو ہر کمپنی آج لاگو کرتی ہے۔

کیا مجھے اپنے robots.txt میں Content-Signal شامل کرنا چاہیے؟

اسے شامل کریں اگر آپ چاہتے ہیں کہ آپ کی استعمال کی پالیسی ایک ایسی جگہ لکھی ہو جسے مشینیں اور لوگ دونوں پڑھ سکیں۔ یہ ایک ہی لائن میں ہر کرالر کے لیے ai-input کی ترجیح بھی بتاتی ہے، جو کمپنیوں کے ٹوکن صرف ایک ایک کرالر کر کے بتا سکتے ہیں۔ اس کی قیمت ایک لائن ہے، اور جو parsers اسے نہیں جانتے وہ اسے چھوڑ دیتے ہیں۔

صرف اسی پر بھروسا نہ کریں۔ مواد کو ٹریننگ سے باہر رکھنے کے لیے دستاویزی ٹریننگ ٹوکنز کو بھی ممنوع کریں، اور مشترکہ ٹریننگ ٹوکن پر غور کریں؛ AI ٹریننگ بلاک کر کے AI سرچ میں رہنے پر ہماری گائیڈ ہر کمپنی کے ٹوکنز کی فہرست دیتی ہے۔ جو کچھ robots.txt نظر انداز کرتا ہے اس کے لیے صرف فائر وال کا اصول ہی بلاک نافذ کرتا ہے۔

آخر میں جانچیں کہ یہ لائن باقی فائل سے ہم آہنگ ہو۔ OAI-SearchBot یا PerplexityBot کے لیے Allow گروپ کے ساتھ ai-input=no متضاد پیغام دیتا ہے: آپ AI سرچ کرالرز کو اندر آنے دیتے ہیں جبکہ کہتے ہیں کہ ان کے جوابات وہ استعمال نہیں کر سکتے جو وہ منگواتے ہیں۔

کیسے جانچوں کہ میرا robots.txt ہر کرالر کو کیا بتاتا ہے؟

مفت AISeeWhy robots.txt چیکر صفحے کا پتہ یا پیسٹ کیا گیا robots.txt لیتا ہے اور ہر AI اور سرچ کرالر کے لیے دکھاتا ہے کہ کیا وہ صفحہ منگوایا جا سکتا ہے، تاکہ آپ تصدیق کر سکیں کہ لائیو فائل، Cloudflare کے شروع میں جوڑے گئے حصے سمیت، وہی کہتی ہے جو آپ کا مطلب تھا۔ مفت robots.txt جنریٹر آپ کے انتخاب سے فائل لکھتا ہے۔

مفت ٹولز

اگلے قدم

اس مضمون کے کرالرز

اکثر پوچھے جانے والے سوالات

کیا Content-Signal، robots.txt معیار کا حصہ ہے؟

نہیں۔ RFC 9309، User-agent، Allow اور Disallow کی تعریف کرتا ہے اور کرالرز کو دوسرے ریکارڈز کی تشریح کی اجازت دیتا ہے۔ Content-Signal، Cloudflare کی Content Signals Policy سے آتا ہے، جو CC0 لائسنس کے تحت جاری ہوئی۔ الگ سے IETF AI Preferences ورکنگ گروپ robots.txt کے لیے اپنا Content-Usage اصول تیار کر رہا ہے، جو ابھی Internet-Draft ہے، معیار نہیں۔

کیا ai-train=no، GPTBot یا ClaudeBot کو روکتا ہے؟

جہاں تک کمپنیاں دستاویز دیتی ہیں، نہیں۔ OpenAI اور Anthropic، GPTBot اور ClaudeBot کا نام لینے والے robots.txt اصولوں کے ذریعے کنٹرول بیان کرتے ہیں، اور کسی کرالر صفحے پر Content-Signal کا ذکر نہیں۔ دونوں میں سے کسی کی ٹریننگ سے نکلنے کے لیے ٹوکن کو نام لے کر ممنوع کریں۔

Content-Signal اور __usage_ai-training میں کیا فرق ہے؟

Content-Signal گروپ کے اندر ایک لائن ہے اور سرچ، AI ان پٹ اور ٹریننگ کا احاطہ کرتی ہے۔ __usage_ai-training ایک پالیسی ٹوکن ہے جو اپنے الگ User-Agent گروپ کے طور پر استعمال ہوتا ہے اور صرف ٹریننگ کا احاطہ کرتا ہے۔ Anthropic، Microsoft، Google اور OpenAI نے مشترکہ ٹریننگ سگنل کے بارے میں بیانات شائع کیے ہیں؛ ان میں سے کوئی Content-Signal کی دستاویز نہیں دیتا۔

Google Search Console، Syntax not understood کیوں کہتا ہے؟

Google کی robots.txt دستاویزات صرف user-agent، allow، disallow اور sitemap کو سپورٹ کرتی ہیں، اس لیے دوسری لائنیں نشان زد ہو سکتی ہیں۔ Cloudflare کہتا ہے کہ اس نے ان رپورٹس سے کرالنگ کی رفتار یا SEO پر کوئی اثر نہیں دیکھا۔

use=reference کا کیا مطلب ہے؟

یہ ایک چوتھا فیلڈ ہے جسے Cloudflare آزما رہا ہے۔ reference کا مطلب ہے انڈیکس کریں، اقتباس دیں اور واپس لنک دیں۔ Cloudflare اسے managed robots.txt فائلوں میں شامل کرتا ہے، اور ہماری جانچی گئی کسی کرالر دستاویز میں اس کا ذکر نہیں۔

ماخذ

مزید مضامین