AI ٹریننگ بلاک کر کے AI سرچ جوابات میں کیسے رہیں
زیادہ تر AI کمپنیاں ماڈل ٹریننگ اور سرچ کے لیے robots.txt کے الگ ٹوکن استعمال کرتی ہیں۔ ٹریننگ ٹوکنز، جیسے GPTBot، ClaudeBot، Google-Extended، Applebot-Extended، meta-externalagent اور CCBot، کو ممنوع کریں، اور سرچ اور یوزر ٹوکنز، جیسے OAI-SearchBot، Claude-SearchBot اور PerplexityBot، کو اجازت دیں۔ یہی ترجیح الفاظ میں بتانے کے لیے Content-Signal لائن شامل کریں۔
بہت سے سائٹ مالکان ایک ساتھ دو چیزیں چاہتے ہیں: وہ نہیں چاہتے کہ ان کا مواد AI ماڈلز کی ٹریننگ میں استعمال ہو، اور وہ چاہتے ہیں کہ AI اسسٹنٹ ان کے صفحات ڈھونڈیں، ان کا اقتباس دیں اور لنک کریں۔ چونکہ بڑی کمپنیاں اب یہ کام مختلف کرالرز یا ٹوکنز میں بانٹتی ہیں، اس لیے robots.txt دونوں فیصلے ظاہر کر سکتا ہے۔ مشکل یہ ہے کہ نام ہر کمپنی کے مختلف ہیں، چند کمپنیاں اس طرز پر پوری نہیں اترتیں، اور ایک غلط لائن آپ کو ٹریننگ ڈیٹا کے بجائے AI جوابات سے نکال سکتی ہے۔
اس صفحے پر
ٹریننگ کرالر اور سرچ کرالر میں کیا فرق ہے؟
ٹریننگ کرالر ایسے صفحات جمع کرتا ہے جو AI ماڈلز بنانے یا بہتر کرنے میں استعمال ہو سکتے ہیں۔ ٹریننگ بذات خود کوئی حوالہ یا لنک نہیں دیتی۔ سرچ کرالر ایک انڈیکس بناتا ہے جسے AI اسسٹنٹ جواب کے لیے ماخذ ڈھونڈنے میں استعمال کرتا ہے، اور انہی ماخذ کا وہ حوالہ دے سکتا ہے۔ یوزر کی درخواست پر چلنے والا fetcher کسی صفحے کو اس وقت کھولتا ہے جب کسی نے اس کے بارے میں پوچھا ہو۔
کمپنیاں ان کرداروں کی الگ الگ دستاویزات دیتی ہیں اور کہتی ہیں کہ یہ سیٹنگز ایک دوسرے سے آزاد ہیں۔ مثال کے طور پر OpenAI کہتا ہے کہ اس کے کرالرز کی ہر robots.txt سیٹنگ باقیوں سے آزاد ہے۔ اس لیے درست طریقے سے کیا گیا ٹریننگ opt-out سرچ میں آپ کے نظر آنے پر اثر نہیں ڈالتا۔
کون سے ٹوکن ٹریننگ اور کون سے سرچ کنٹرول کرتے ہیں؟
یہ وہ ٹوکن ہیں جن کی کمپنیاں دستاویزات دیتی ہیں، اس لحاظ سے گروپ کیے گئے کہ وہ کیا کنٹرول کرتے ہیں:
- OpenAI:
GPTBotایسا مواد کرال کرتا ہے جو اس کے فاؤنڈیشن ماڈلز کی ٹریننگ میں استعمال ہو سکتا ہے۔OAI-SearchBotChatGPT سرچ کے لیے ہے، اورChatGPT-Userیوزر کے اقدامات سنبھالتا ہے؛ OpenAI کہتا ہے کہ robots.txt اس پر لاگو نہیں بھی ہو سکتا۔ - Anthropic:
ClaudeBotایسا مواد جمع کرتا ہے جو ٹریننگ میں حصہ ڈال سکتا ہے۔Claude-SearchBotClaude کے سرچ نتائج بہتر کرتا ہے، اورClaude-Userیوزرز کے لیے صفحات منگواتا ہے۔ Anthropic کہتا ہے کہ اس کے بوٹس robots.txt کا احترام کرتے ہیں۔ - Google:
Google-Extendedrobots.txt کا ایک ٹوکن ہے جس کا اپنا کوئی کرالر نہیں۔ یہ مستقبل کے Gemini ماڈلز کی ٹریننگ اور Gemini Apps اور Vertex AI میں grounding کے لیے استعمال کو کنٹرول کرتا ہے۔ Google کہتا ہے کہ اس کا Google Search میں شمولیت یا رینکنگ پر کوئی اثر نہیں، جوGooglebotسے کنٹرول ہوتی ہے۔ - Apple:
Applebot-Extendedکرال نہیں کرتا؛ یہ کنٹرول کرتا ہے کہApplebotکا کرال کیا ہوا مواد Apple کے فاؤنڈیشن ماڈلز کی ٹریننگ میں استعمال ہو یا نہیں۔ Apple کہتا ہے کہ جو صفحات اسے ممنوع کرتے ہیں وہ پھر بھی اس کے سرچ نتائج میں آ سکتے ہیں۔ - Meta:
meta-externalagentفاؤنڈیشن ماڈلز کی ٹریننگ جیسے استعمالات کے لیے کرال کرتا ہے، جبکہmeta-webindexerMeta AI کے سرچ نتائج بہتر کرتا ہے۔ - Common Crawl:
CCBotCommon Crawl کا عوامی ویب آرکائیو بناتا ہے۔ Cloudflare کا managed robots.txt اسے ان AI ٹریننگ کرالرز میں شامل کرتا ہے جنہیں وہ ممنوع کرتا ہے۔ - Perplexity:
PerplexityBotاورPerplexity-Userسرچ اور یوزر درخواستوں کے لیے ہیں۔ Perplexity کہتا ہے کہ ان میں سے کوئی بھی ٹریننگ ڈیٹا جمع کرنے میں استعمال نہیں ہوتا، اس لیے Perplexity کا کوئی ٹریننگ ٹوکن بلاک کرنے کو نہیں۔
robots.txt کیسا دکھتا ہے؟
RFC 9309 کے تحت لگاتار کئی User-agent لائنیں ایک گروپ بناتی ہیں، اس لیے اصول ان میں سے ہر ایک پر لاگو ہوتے ہیں۔ یہ فائل اوپر کے ٹریننگ ٹوکنز سے opt out کرتی ہے، سرچ اور یوزر ایجنٹس کو اجازت دیتی ہے، اور ایک نجی پاتھ سب کے لیے بند رکھتی ہے:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml دو باتیں اہم ہیں۔ پہلی، نام والا گروپ * سے کچھ وراثت میں نہیں لیتا، اس لیے نجی پاتھ سرچ گروپ میں دہرانے ہوں گے۔ دوسری، Googlebot یا Applebot کو ٹریننگ گروپ میں شامل نہ کریں: یہ سرچ کرالرز ہیں، اور انہیں بلاک کرنا آپ کو Google Search اور Apple کے سرچ فیچرز سے نکال دیتا ہے۔ تبدیلیاں فوری نہیں ہوتیں: OpenAI سرچ کے لیے تقریباً 24 گھنٹے بتاتا ہے، اور Perplexity 24 گھنٹے تک۔
کتنی سائٹس پہلے سے ایسا کرتی ہیں؟
آپ کی توقع سے کم۔ ہم نے 2026-11-12 کو Tranco فہرست کے 1,000 سب سے مقبول ڈومینز کی robots.txt فائلیں پڑھیں۔ robots.txt دینے والی 518 سائٹس میں سے 155 (29.9%) کم از کم ایک AI ٹریننگ کرالر کے لیے ہوم پیج ممنوع کرتی ہیں۔ صرف 57 (11.0%) چن کر راستہ اپناتی ہیں: وہ ٹریننگ کرالرز بلاک کرتی ہیں اور ہمارے جانچے گئے ہر AI سرچ اور یوزر کرالر کو اجازت دیتی ہیں۔ کل ملا کر 101 سائٹس (19.5%) کم از کم ایک AI سرچ یا یوزر کرالر کو بلاک کرتی ہیں۔
ہر کرالر کے اعداد و شمار بھی یہی تقسیم دکھاتے ہیں۔ GPTBot 111 سائٹس (21.4%) پر بلاک ہے اور OAI-SearchBot 58 (11.2%) پر۔ ClaudeBot 110 (21.2%) پر بلاک ہے اور Claude-SearchBot 67 (12.9%) پر۔ Google-Extended 94 (18.1%) پر بلاک ہے، Googlebot 14 (2.7%) پر۔ صرف 18 سائٹس (3.5%) Content-Signal استعمال کرتی ہیں۔
یہ مطالعہ صرف ہوم پیج کے robots.txt اصولوں کو دیکھتا ہے۔ یہ فائر وال کے بلاک نہیں ناپتا، اور یہ نہیں دکھاتا کہ ہر سائٹ کا ارادہ کیا تھا۔
Content-Signal کیا اضافہ کرتا ہے؟
Content Signals، robots.txt کی ایک توسیع ہے جو Cloudflare نے contentsignals.org پر شائع کی ہے۔ Content-Signal لائن بتاتی ہے کہ مواد کیسے استعمال ہو سکتا ہے، تین سگنلز کے ساتھ: search (سرچ انڈیکس بنانا اور لنکس اور مختصر اقتباسات دکھانا)، ai-input (مواد کو فوری طور پر AI ماڈلز میں ڈالنا، جیسے تخلیقی جوابات کے لیے grounding یا retrieval) اور ai-train (ماڈلز کی ٹریننگ یا fine-tuning)۔
دھیان رہے کہ search کی تعریف میں AI سے بنے سرچ خلاصے شامل نہیں۔ اگر آپ AI جوابات میں آنا چاہتے ہیں تو اوپر کی مثال کی طرح ai-input=yes بھی سیٹ کریں۔ Cloudflare کا managed robots.txt پہلے سے search=yes, ai-train=no شامل کرتا ہے؛ جو سگنل آپ چھوڑ دیں وہ اس استعمال کی نہ اجازت دیتا ہے نہ پابندی لگاتا ہے۔
یہ بیان کردہ ترجیحات ہیں۔ Content Signals کی سائٹ کہتی ہے کہ یہ تکنیکی سطح پر کرالنگ نہیں روکتے، اور Cloudflare بتاتا ہے کہ robots.txt کی پابندی رضاکارانہ ہے۔ OpenAI، Anthropic، Google یا Perplexity کے جو کرالر صفحات ہم نے دیکھے ان میں سے کوئی نہیں بتاتا کہ وہ Content-Signal پڑھتے ہیں یا نہیں، اس لیے اسے ہر کرالر کے گروپس کا اضافہ سمجھیں، متبادل نہیں۔
یہ تقسیم کہاں صاف کام نہیں کرتی؟
چند صورتوں میں احتیاط چاہیے:
- Google AI Overviews اور AI Mode اس Search انڈیکس سے کام لیتے ہیں جو
Googlebotبناتا ہے، اس لیےGoogle-Extendedآپ کو ان سے نہیں نکالتا۔ Google کی Search Console مدد مزید کہتی ہے کہGoogle-Extendedان ماڈلز کی ٹریننگ محدود کرتا ہے جو Search کے تخلیقی AI فیچرز کے پیچھے ہیں، ایک ایسا دائرہ جس کا اس کی کرالر دستاویزات میں ذکر نہیں۔ Google اب سائٹ کو AI Overviews اور AI Mode سے باہر رکھنے کے لیے Search Console میں الگ سیٹنگ دیتا ہے۔ - OpenAI کہتا ہے کہ اگر کوئی سائٹ
GPTBotاورOAI-SearchBotدونوں کو اجازت دے تو وہ ایک کرال کے نتائج دونوں مقاصد کے لیے استعمال کر سکتا ہے۔GPTBotکو ممنوع کرنا ہی یہ اشارہ ہے کہ مواد ٹریننگ میں استعمال نہ ہو۔ - Opt-out آگے کی طرف دیکھتے ہیں۔ مثال کے طور پر Anthropic بتاتا ہے کہ
ClaudeBotکو ممنوع کرنے سے آپ کی سائٹ کا آئندہ مواد ٹریننگ ڈیٹا سیٹس سے باہر رہتا ہے۔ - یوزر کی درخواست پر چلنے والے fetchers درمیان میں ہیں۔ OpenAI اور Perplexity کہتے ہیں کہ robots.txt شاید
ChatGPT-Userپر لاگو نہ ہو اور عام طور پرPerplexity-Userپر لاگو نہیں ہوتا۔ - فائر وال robots.txt نہیں پڑھتے۔ بوٹس بلاک کرنے والا وسیع اصول ان سرچ کرالرز کو روک سکتا ہے جنہیں آپ نے اجازت دی۔ اگر آپ ٹریننگ بلاک فائر وال پر نافذ کرتے ہیں تو ٹریننگ ایجنٹس کو نام سے ملائیں اور ان کی شائع شدہ IP رینجز سے تصدیق کریں۔
میں کیسے جانچوں کہ یہ تقسیم کام کر رہی ہے؟
اپنا robots.txt ویسے پڑھیں جیسے ہر کرالر پڑھے گا: وہ گروپ ڈھونڈیں جس میں اس کا نام ہو، کوئی نہ ہو تو ہی * پر جائیں، اور سب سے لمبا میل کھانے والا اصول لاگو کریں۔ پھر ہر سرچ کرالر کے یوزر ایجنٹ کے ساتھ ایک صفحہ منگوائیں اور تصدیق کریں کہ اسے پورے مواد کے ساتھ 200 ملتا ہے، 403 یا چیلنج صفحہ نہیں۔
AISeeWhy یہ دونوں کام 14 کرالرز کے لیے کرتا ہے، جو ٹریننگ، سرچ اور یوزر ایجنٹس میں گروپ کیے گئے ہیں، اور سب سے عام غلطی کی نشاندہی کرتا ہے: ٹریننگ بلاک کرنے کے ارادے سے PerplexityBot یا Claude-SearchBot جیسا سرچ ٹوکن بلاک کر دینا۔
اگلے قدم
- AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر
- AI کرالر IP جانچ
- مکمل رپورٹ کی ایک مثال دیکھیں
- AI کرالر نگرانی
- پلان اور قیمتیں
اس مضمون کے کرالرز
اکثر پوچھے جانے والے سوالات
کیا GPTBot بلاک کرنے سے میری سائٹ ChatGPT کے جوابات سے نکل جائے گی؟
نہیں۔ OpenAI کہتا ہے کہ GPTBot ٹریننگ کے لیے ہے اور ہر robots.txt سیٹنگ آزاد ہے۔ ChatGPT سرچ OAI-SearchBot استعمال کرتی ہے؛ جب تک اسے اجازت ہے اور آپ کا فائر وال اسے بلاک نہیں کرتا، آپ کے صفحات اہل رہتے ہیں۔
کیا Google-Extended بلاک کرنے سے میں AI Overviews سے نکل جاتا ہوں؟
Google کی دستاویزات کے مطابق نہیں۔ Google کہتا ہے کہ Google-Extended کا Google Search میں شمولیت پر کوئی اثر نہیں، اور AI Overviews، Search انڈیکس سے کام لیتے ہیں۔ Google سائٹ کو AI Overviews اور AI Mode سے باہر رکھنے کے لیے Search Console میں الگ کنٹرول دیتا ہے۔
کیا کوئی ایک لائن ہے جو ساری AI ٹریننگ بلاک کر دے؟
کوئی معیاری لائن ایسا نہیں کرتی۔ Content-Signal: ai-train=no تمام کرالرز کے لیے ترجیح بتاتی ہے، لیکن کرالر اس کا احترام کرے گا یا نہیں، یہ اس کے آپریٹر پر منحصر ہے۔ ہر ٹریننگ ٹوکن کے لیے نام والے گروپس ہی دستاویزی طریقہ ہیں۔
کیا AI ٹریننگ روکنے کے لیے مجھے Perplexity بلاک کرنا چاہیے؟
Perplexity کہتا ہے کہ اس کے ایجنٹس ٹریننگ ڈیٹا جمع کرنے میں استعمال نہیں ہوتے۔ PerplexityBot بلاک کرنے سے Perplexity کے سرچ نتائج میں آپ کا نظر آنا کم ہوتا ہے، اور ٹریننگ opt-out کا مقصد بھی پورا نہیں ہوتا۔
ماخذ
- OpenAI: OpenAI کرالرز کا جائزہ
- Anthropic: کیا Anthropic ویب سے ڈیٹا کرال کرتا ہے، اور سائٹ مالکان کرالر کو کیسے بلاک کر سکتے ہیں؟
- Google: عام کرالرز، بشمول Google-Extended
- Google Search Console مدد: Search میں تخلیقی AI کا کنٹرول
- Apple: Applebot کے بارے میں
- Meta: Meta ویب کرالرز
- Common Crawl: CCBot
- Perplexity: Perplexity کرالرز
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Managed robots.txt اور Content Signals
- AISeeWhy: AI کرالر رسائی رپورٹ، 2026-11