AI ٹریننگ بلاک کر کے AI سرچ جوابات میں کیسے رہیں

شائع شدہ

مختصر جواب

زیادہ تر AI کمپنیاں ماڈل ٹریننگ اور سرچ کے لیے robots.txt کے الگ ٹوکن استعمال کرتی ہیں۔ ٹریننگ ٹوکنز، جیسے GPTBot، ClaudeBot، Google-Extended، Applebot-Extended، meta-externalagent اور CCBot، کو ممنوع کریں، اور سرچ اور یوزر ٹوکنز، جیسے OAI-SearchBot، Claude-SearchBot اور PerplexityBot، کو اجازت دیں۔ یہی ترجیح الفاظ میں بتانے کے لیے Content-Signal لائن شامل کریں۔

بہت سے سائٹ مالکان ایک ساتھ دو چیزیں چاہتے ہیں: وہ نہیں چاہتے کہ ان کا مواد AI ماڈلز کی ٹریننگ میں استعمال ہو، اور وہ چاہتے ہیں کہ AI اسسٹنٹ ان کے صفحات ڈھونڈیں، ان کا اقتباس دیں اور لنک کریں۔ چونکہ بڑی کمپنیاں اب یہ کام مختلف کرالرز یا ٹوکنز میں بانٹتی ہیں، اس لیے robots.txt دونوں فیصلے ظاہر کر سکتا ہے۔ مشکل یہ ہے کہ نام ہر کمپنی کے مختلف ہیں، چند کمپنیاں اس طرز پر پوری نہیں اترتیں، اور ایک غلط لائن آپ کو ٹریننگ ڈیٹا کے بجائے AI جوابات سے نکال سکتی ہے۔

اس صفحے پر
  1. ٹریننگ کرالر اور سرچ کرالر میں کیا فرق ہے؟
  2. کون سے ٹوکن ٹریننگ اور کون سے سرچ کنٹرول کرتے ہیں؟
  3. robots.txt کیسا دکھتا ہے؟
  4. کتنی سائٹس پہلے سے ایسا کرتی ہیں؟
  5. Content-Signal کیا اضافہ کرتا ہے؟
  6. یہ تقسیم کہاں صاف کام نہیں کرتی؟
  7. میں کیسے جانچوں کہ یہ تقسیم کام کر رہی ہے؟

ٹریننگ کرالر اور سرچ کرالر میں کیا فرق ہے؟

ٹریننگ کرالر ایسے صفحات جمع کرتا ہے جو AI ماڈلز بنانے یا بہتر کرنے میں استعمال ہو سکتے ہیں۔ ٹریننگ بذات خود کوئی حوالہ یا لنک نہیں دیتی۔ سرچ کرالر ایک انڈیکس بناتا ہے جسے AI اسسٹنٹ جواب کے لیے ماخذ ڈھونڈنے میں استعمال کرتا ہے، اور انہی ماخذ کا وہ حوالہ دے سکتا ہے۔ یوزر کی درخواست پر چلنے والا fetcher کسی صفحے کو اس وقت کھولتا ہے جب کسی نے اس کے بارے میں پوچھا ہو۔

کمپنیاں ان کرداروں کی الگ الگ دستاویزات دیتی ہیں اور کہتی ہیں کہ یہ سیٹنگز ایک دوسرے سے آزاد ہیں۔ مثال کے طور پر OpenAI کہتا ہے کہ اس کے کرالرز کی ہر robots.txt سیٹنگ باقیوں سے آزاد ہے۔ اس لیے درست طریقے سے کیا گیا ٹریننگ opt-out سرچ میں آپ کے نظر آنے پر اثر نہیں ڈالتا۔

کون سے ٹوکن ٹریننگ اور کون سے سرچ کنٹرول کرتے ہیں؟

یہ وہ ٹوکن ہیں جن کی کمپنیاں دستاویزات دیتی ہیں، اس لحاظ سے گروپ کیے گئے کہ وہ کیا کنٹرول کرتے ہیں:

robots.txt کیسا دکھتا ہے؟

RFC 9309 کے تحت لگاتار کئی User-agent لائنیں ایک گروپ بناتی ہیں، اس لیے اصول ان میں سے ہر ایک پر لاگو ہوتے ہیں۔ یہ فائل اوپر کے ٹریننگ ٹوکنز سے opt out کرتی ہے، سرچ اور یوزر ایجنٹس کو اجازت دیتی ہے، اور ایک نجی پاتھ سب کے لیے بند رکھتی ہے:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

دو باتیں اہم ہیں۔ پہلی، نام والا گروپ * سے کچھ وراثت میں نہیں لیتا، اس لیے نجی پاتھ سرچ گروپ میں دہرانے ہوں گے۔ دوسری، Googlebot یا Applebot کو ٹریننگ گروپ میں شامل نہ کریں: یہ سرچ کرالرز ہیں، اور انہیں بلاک کرنا آپ کو Google Search اور Apple کے سرچ فیچرز سے نکال دیتا ہے۔ تبدیلیاں فوری نہیں ہوتیں: OpenAI سرچ کے لیے تقریباً 24 گھنٹے بتاتا ہے، اور Perplexity 24 گھنٹے تک۔

کتنی سائٹس پہلے سے ایسا کرتی ہیں؟

آپ کی توقع سے کم۔ ہم نے 2026-11-12 کو Tranco فہرست کے 1,000 سب سے مقبول ڈومینز کی robots.txt فائلیں پڑھیں۔ robots.txt دینے والی 518 سائٹس میں سے 155 (29.9%) کم از کم ایک AI ٹریننگ کرالر کے لیے ہوم پیج ممنوع کرتی ہیں۔ صرف 57 (11.0%) چن کر راستہ اپناتی ہیں: وہ ٹریننگ کرالرز بلاک کرتی ہیں اور ہمارے جانچے گئے ہر AI سرچ اور یوزر کرالر کو اجازت دیتی ہیں۔ کل ملا کر 101 سائٹس (19.5%) کم از کم ایک AI سرچ یا یوزر کرالر کو بلاک کرتی ہیں۔

ہر کرالر کے اعداد و شمار بھی یہی تقسیم دکھاتے ہیں۔ GPTBot 111 سائٹس (21.4%) پر بلاک ہے اور OAI-SearchBot 58 (11.2%) پر۔ ClaudeBot 110 (21.2%) پر بلاک ہے اور Claude-SearchBot 67 (12.9%) پر۔ Google-Extended 94 (18.1%) پر بلاک ہے، Googlebot 14 (2.7%) پر۔ صرف 18 سائٹس (3.5%) Content-Signal استعمال کرتی ہیں۔

یہ مطالعہ صرف ہوم پیج کے robots.txt اصولوں کو دیکھتا ہے۔ یہ فائر وال کے بلاک نہیں ناپتا، اور یہ نہیں دکھاتا کہ ہر سائٹ کا ارادہ کیا تھا۔

Content-Signal کیا اضافہ کرتا ہے؟

Content Signals، robots.txt کی ایک توسیع ہے جو Cloudflare نے contentsignals.org پر شائع کی ہے۔ Content-Signal لائن بتاتی ہے کہ مواد کیسے استعمال ہو سکتا ہے، تین سگنلز کے ساتھ: search (سرچ انڈیکس بنانا اور لنکس اور مختصر اقتباسات دکھانا)، ai-input (مواد کو فوری طور پر AI ماڈلز میں ڈالنا، جیسے تخلیقی جوابات کے لیے grounding یا retrieval) اور ai-train (ماڈلز کی ٹریننگ یا fine-tuning)۔

دھیان رہے کہ search کی تعریف میں AI سے بنے سرچ خلاصے شامل نہیں۔ اگر آپ AI جوابات میں آنا چاہتے ہیں تو اوپر کی مثال کی طرح ai-input=yes بھی سیٹ کریں۔ Cloudflare کا managed robots.txt پہلے سے search=yes, ai-train=no شامل کرتا ہے؛ جو سگنل آپ چھوڑ دیں وہ اس استعمال کی نہ اجازت دیتا ہے نہ پابندی لگاتا ہے۔

یہ بیان کردہ ترجیحات ہیں۔ Content Signals کی سائٹ کہتی ہے کہ یہ تکنیکی سطح پر کرالنگ نہیں روکتے، اور Cloudflare بتاتا ہے کہ robots.txt کی پابندی رضاکارانہ ہے۔ OpenAI، Anthropic، Google یا Perplexity کے جو کرالر صفحات ہم نے دیکھے ان میں سے کوئی نہیں بتاتا کہ وہ Content-Signal پڑھتے ہیں یا نہیں، اس لیے اسے ہر کرالر کے گروپس کا اضافہ سمجھیں، متبادل نہیں۔

یہ تقسیم کہاں صاف کام نہیں کرتی؟

چند صورتوں میں احتیاط چاہیے:

میں کیسے جانچوں کہ یہ تقسیم کام کر رہی ہے؟

اپنا robots.txt ویسے پڑھیں جیسے ہر کرالر پڑھے گا: وہ گروپ ڈھونڈیں جس میں اس کا نام ہو، کوئی نہ ہو تو ہی * پر جائیں، اور سب سے لمبا میل کھانے والا اصول لاگو کریں۔ پھر ہر سرچ کرالر کے یوزر ایجنٹ کے ساتھ ایک صفحہ منگوائیں اور تصدیق کریں کہ اسے پورے مواد کے ساتھ 200 ملتا ہے، 403 یا چیلنج صفحہ نہیں۔

AISeeWhy یہ دونوں کام 14 کرالرز کے لیے کرتا ہے، جو ٹریننگ، سرچ اور یوزر ایجنٹس میں گروپ کیے گئے ہیں، اور سب سے عام غلطی کی نشاندہی کرتا ہے: ٹریننگ بلاک کرنے کے ارادے سے PerplexityBot یا Claude-SearchBot جیسا سرچ ٹوکن بلاک کر دینا۔

مفت ٹولز

اگلے قدم

اس مضمون کے کرالرز

اکثر پوچھے جانے والے سوالات

کیا GPTBot بلاک کرنے سے میری سائٹ ChatGPT کے جوابات سے نکل جائے گی؟

نہیں۔ OpenAI کہتا ہے کہ GPTBot ٹریننگ کے لیے ہے اور ہر robots.txt سیٹنگ آزاد ہے۔ ChatGPT سرچ OAI-SearchBot استعمال کرتی ہے؛ جب تک اسے اجازت ہے اور آپ کا فائر وال اسے بلاک نہیں کرتا، آپ کے صفحات اہل رہتے ہیں۔

کیا Google-Extended بلاک کرنے سے میں AI Overviews سے نکل جاتا ہوں؟

Google کی دستاویزات کے مطابق نہیں۔ Google کہتا ہے کہ Google-Extended کا Google Search میں شمولیت پر کوئی اثر نہیں، اور AI Overviews، Search انڈیکس سے کام لیتے ہیں۔ Google سائٹ کو AI Overviews اور AI Mode سے باہر رکھنے کے لیے Search Console میں الگ کنٹرول دیتا ہے۔

کیا کوئی ایک لائن ہے جو ساری AI ٹریننگ بلاک کر دے؟

کوئی معیاری لائن ایسا نہیں کرتی۔ Content-Signal: ai-train=no تمام کرالرز کے لیے ترجیح بتاتی ہے، لیکن کرالر اس کا احترام کرے گا یا نہیں، یہ اس کے آپریٹر پر منحصر ہے۔ ہر ٹریننگ ٹوکن کے لیے نام والے گروپس ہی دستاویزی طریقہ ہیں۔

کیا AI ٹریننگ روکنے کے لیے مجھے Perplexity بلاک کرنا چاہیے؟

Perplexity کہتا ہے کہ اس کے ایجنٹس ٹریننگ ڈیٹا جمع کرنے میں استعمال نہیں ہوتے۔ PerplexityBot بلاک کرنے سے Perplexity کے سرچ نتائج میں آپ کا نظر آنا کم ہوتا ہے، اور ٹریننگ opt-out کا مقصد بھی پورا نہیں ہوتا۔

ماخذ

مزید مضامین