صفحے کا پتہ درج کریں: ہم سائٹ کا robots.txt پڑھ کر ہر AI اور سرچ کرالر کے لیے دکھاتے ہیں کہ کیا وہ یہ صفحہ منگوا سکتا ہے۔ یا شائع کرنے سے پہلے جانچنے کے لیے robots.txt پیسٹ کریں۔
robots.txt صرف ایک درخواست ہے۔ فائر وال یا بوٹ پروٹیکشن پھر بھی اس کرالر کو بلاک کر سکتا ہے جسے robots.txt اجازت دیتا ہے؛ مکمل جانچ یہ پرکھتی ہے۔ مکمل جانچ چلائیں ←
جس صفحے پر آپ ہیں اس کی یہی جانچ، ایک کلک میں: AI کرالر چیکر ↗
AI کرالرز robots.txt کیسے پڑھتے ہیں
ہر کرالر اس گروپ پر عمل کرتا ہے جس میں اس کا ٹوکن ہو (مثلاً GPTBot یا PerplexityBot)؛ صرف اگر کوئی ایسا گروپ نہ ہو تو وہ User-agent: * پر عمل کرتا ہے۔ گروپ کے اندر سب سے لمبا ملنے والا اصول جیتتا ہے، اور برابری کی صورت میں Allow جیتتا ہے۔ GPTBot، ClaudeBot یا Google-Extended جیسے ٹریننگ کرالرز کو بلاک کرنے سے آپ کا مواد ماڈل کی تربیت سے باہر رہتا ہے؛ OAI-SearchBot، ChatGPT-User یا PerplexityBot جیسے سرچ اور یوزر کرالرز کو بلاک کرنے سے آپ کے صفحات AI جوابات سے باہر رہتے ہیں۔
گائیڈ
robots.txt ٹیسٹر کیسے استعمال کریں
یہ متن انگریزی سے مشینی ترجمہ کیا گیا ہے۔
یہ robots.txt ٹیسٹر کیا جانچتا ہے
کسی صفحے کا پتہ درج کریں۔ ٹیسٹر اس پتے کا scheme اور host لیتا ہے، اس host کی جڑ سے /robots.txt پڑھتا ہے اور آپ کے صفحے کے path کے لیے اس کے اصول جانچتا ہے۔ یہ 16 کرالرز میں سے ہر ایک کے لیے ایک سوال کا جواب دیتا ہے: کیا یہ کرالر یہ صفحہ منگوا سکتا ہے؟
کرالرز ان کے کام کے مطابق گروپ کیے گئے ہیں۔ ٹریننگ کرالرز AI ماڈلز کے لیے صفحات جمع کرتے ہیں: GPTBot، ClaudeBot، CCBot، Bytespider اور Meta-ExternalAgent، نیز صرف robots.txt والے ٹوکنز Google-Extended اور Applebot-Extended، جو خود کبھی وزٹ نہیں کرتے لیکن Google اور Apple کو بتاتے ہیں کہ کیا وہ پہلے سے منگوائے گئے صفحات استعمال کر سکتے ہیں۔ سرچ کرالرز وہ انڈیکس بناتے ہیں جن کا حوالہ AI جوابات اور سرچ نتائج دیتے ہیں: OAI-SearchBot، Claude-SearchBot، PerplexityBot، Googlebot، Bingbot اور Applebot۔ یوزر ایجنٹس اس وقت صفحہ منگواتے ہیں جب کوئی شخص اسسٹنٹ سے اسے کھولنے کو کہے: ChatGPT-User، Claude-User اور Perplexity-User۔
پتے کی جگہ آپ robots.txt پیسٹ بھی کر سکتے ہیں۔ تب کچھ نہیں منگوایا جاتا: ٹیسٹر آپ کا پیسٹ کیا ہوا متن جانچتا ہے، اس لیے آپ شائع کرنے سے پہلے کوئی تبدیلی آزما سکتے ہیں۔ پیسٹ کیا گیا متن صرف جواب دینے کے لیے استعمال ہوتا ہے اور محفوظ نہیں کیا جاتا۔
نتائج کیسے پڑھیں
ٹیبل میں ہر کرالر کی ایک قطار ہے۔ آپ کے path والا کالم اجازت ہے یا بلاک بتاتا ہے۔ آخری کالم بتاتا ہے کہ فائل کے کس حصے نے فیصلہ کیا:
اس کا اپنا گروپ: فائل میں اس کرالر کے ٹوکن والی User-agent لائن ہے، اور اس کے لیے صرف اسی گروپ کے اصول شمار ہوتے ہیں۔
User-agent: *: کوئی گروپ اس کرالر کا نام نہیں لیتا، اس لیے وہ عمومی گروپ پر چلتا ہے۔
کوئی اصول نہیں: کوئی گروپ لاگو ہی نہیں ہوتا، اس لیے صفحے کی اجازت ہے۔
ٹیبل کے نیچے آپ فائل میں درج Sitemap لائنیں اور اس کی Content-Signal لائن، اگر ہو، دیکھتے ہیں۔ اگر پتے نے ٹیکسٹ فائل کے بجائے ویب صفحہ لوٹایا، یا کوئی فائل ہی نہیں تھی، تو ٹیسٹر یہ بتاتا ہے: کرالرز /robots.txt پر موجود HTML صفحے کو غیر موجود فائل سمجھتے ہیں۔
جس قطار میں اجازت ہے لکھا ہو اس کا مطلب صرف یہ ہے کہ robots.txt اس کرالر کو نہیں روکتا۔ اس کا مطلب یہ نہیں کہ کرالر وزٹ کرے گا، اور یہ آپ کی فائر وال کے بارے میں کچھ نہیں بتاتی۔
کرالر اپنے اصول کیسے چنتا ہے
RFC 9309، یعنی robots.txt کا معیار، تین اصول طے کرتا ہے جو تقریباً ہر حیران کن نتیجے کی وضاحت کرتے ہیں۔ کرالر پہلے ایسے گروپ ڈھونڈتا ہے جن کا User-agent چھوٹے بڑے حروف کو نظر انداز کرتے ہوئے اس کے ٹوکن سے ملتا ہو۔ اگر مل جائے تو وہ صرف انہی گروپس پر چلتا ہے اور User-agent: * کو مکمل نظر انداز کرتا ہے۔ منتخب گروپ کے اندر سب سے لمبے ملتے path والا اصول جیتتا ہے، اور اگر ایک Allow اور ایک Disallow برابر لمبائی سے ملیں تو Allow جیتتا ہے۔
اس فائل کے ساتھ GPTBot ہر صفحے سے بلاک ہے، کیونکہ اس کا اپنا گروپ ہے۔ ہر دوسرا کرالر /private/press/kit.pdf منگوا سکتا ہے، کیونکہ Allow: /private/press/ لمبائی میں Disallow: /private/ سے بڑا ہے، اور /private/notes/ سے بلاک ہے۔ ٹیسٹر میں دونوں path آزمائیں تو آپ دیکھیں گے کہ فیصلہ ایک گروپ سے دوسرے گروپ میں بدل جاتا ہے۔
عام غلطیاں، مثالوں کے ساتھ
اوپر تلے لکھی User-agent لائنیں ایک ہی گروپ بناتی ہیں۔ User-agent: GPTBot، پھر User-agent: OAI-SearchBot، پھر Disallow: / والی فائل دونوں کرالرز کو بلاک کرتی ہے، اس لیے جو سائٹ صرف ٹریننگ روکنا چاہتی تھی وہ ChatGPT سرچ سے بھی غائب ہو جاتی ہے۔
OpenAI کا غلط ٹوکن بلاک کرنا۔ GPTBot ٹریننگ ڈیٹا جمع کرتا ہے؛ OAI-SearchBot طے کرتا ہے کہ ChatGPT سرچ آپ کو دکھا سکتی ہے اور آپ کا حوالہ دے سکتی ہے یا نہیں۔ ٹریننگ روکنے کے لیے OAI-SearchBot یا ChatGPT-User کو بلاک کرنا الٹا آپ کو جوابات سے نکال دیتا ہے۔
ایک حرف اصول کو الٹ دیتا ہے۔ Disallow: جس کے بعد کچھ نہ ہو سب کچھ کی اجازت دیتا ہے؛ Disallow: / سب کچھ بلاک کرتا ہے۔
path چھوٹے بڑے حروف میں فرق کرتے ہیں۔ Disallow: /Blog/ سے /blog/ بلاک نہیں ہوتا۔
wildcards میں احتیاط چاہیے۔ Disallow: /*.pdf سے /file.pdf?download=1 بھی بلاک ہوتا ہے؛ Disallow: /*.pdf$ صرف وہ پتے بلاک کرتا ہے جو .pdf پر ختم ہوں۔
فائل غلط host پر ہے۔ robots.txt صرف اسی scheme اور host کے لیے ہے جہاں سے وہ پیش کی جاتی ہے، اس لیے www.example.com، example.com اور shop.example.com میں سے ہر ایک کو اپنی فائل چاہیے۔
سرور خرابی کے ساتھ جواب دیتا ہے۔ 4xx جواب کا مطلب ہے کہ کرالرز سب کچھ منگوا سکتے ہیں۔ 5xx جواب یا timeout کا مطلب ہے کہ انہیں فرض کرنا ہوگا کہ سب کچھ ممنوع ہے جب تک فائل دوبارہ پڑھی نہ جا سکے، اس لیے خراب /robots.txt ساری کرالنگ روک سکتی ہے۔
ایسے اصول جن پر کرالرز عمل نہیں کرتے۔ Noindex: اور Crawl-delay: RFC 9309 کا حصہ نہیں ہیں، اور Google دونوں کو نظر انداز کرتا ہے۔
یہ توقع کہ robots.txt کسی صفحے کو سرچ سے ہٹا دے گی۔ یہ کرالنگ روکتی ہے، انڈیکسنگ نہیں: بلاک شدہ پتہ اپنے متن کے بغیر بھی فہرست میں آ سکتا ہے۔ صفحے کو انڈیکس سے باہر رکھنے کے لیے کرالنگ کی اجازت دیں اور noindex میٹا ٹیگ یا ہیڈر استعمال کریں۔
ٹریننگ، سرچ اور یوزر کرالرز: ہر ایک کو بلاک کرنے کا اثر
ٹریننگ کرالر کو بلاک کرنا پالیسی کا فیصلہ ہے۔ یہ آپ کے صفحات کو آئندہ ماڈل ٹریننگ سے باہر رکھتا ہے اور اس پر اثر نہیں ڈالتا کہ AI سرچ آج آپ کا حوالہ دے سکتی ہے یا نہیں۔ OAI-SearchBot، Claude-SearchBot یا PerplexityBot جیسے سرچ کرالر کو بلاک کرنا آپ کے صفحات کو اس اسسٹنٹ کے جوابات سے باہر رکھتا ہے۔ Googlebot یا Bingbot کو بلاک کرنا آپ کو ان سرچ انجنز اور ان پر بنے AI فیچرز سے ہٹا دیتا ہے۔
ChatGPT-User جیسے یوزر ایجنٹس اس شخص کی طرف سے کام کرتے ہیں جس نے آپ کا صفحہ مانگا۔ کچھ فراہم کنندگان کہتے ہیں کہ یہ ایجنٹس ایسی درخواستوں میں robots.txt پر عمل نہیں بھی کر سکتے، اس لیے ان کے لیے اصول ایک درخواست ہے، ضمانت نہیں۔ اگر آپ ٹریننگ بند اور AI سرچ چالو چاہتے ہیں تو ٹریننگ ٹوکنز بلاک کریں اور سرچ اور یوزر ٹوکنز کو نہ چھیڑیں۔
شائع کرنے سے پہلے جانچیں، پھر دوبارہ جانچیں
اپنا ڈرافٹ ٹیسٹر میں پیسٹ کریں، کسی اہم صفحے، جیسے پروڈکٹ یا قیمتوں کے صفحے، کا path درج کریں اور ہر اس کرالر کی قطار پڑھیں جو آپ کے لیے اہم ہے۔ یہی عمل اس path کے ساتھ دہرائیں جسے آپ بلاک کرنا چاہتے تھے۔ جب نتائج آپ کے ارادے سے مل جائیں تو فائل شائع کریں اور لائیو پتے کے ساتھ ٹیسٹر دوبارہ چلائیں، جو ثابت کرتا ہے کہ سرور وہی فائل لوٹاتا ہے جس میں آپ نے ترمیم کی۔
کرالرز robots.txt کو کیش کرتے ہیں؛ مثال کے طور پر Google عموماً 24 گھنٹوں کے اندر اپنی کاپی تازہ کرتا ہے۔ کسی تبدیلی کو ان کے رویے میں نظر آنے میں ایک دن لگ سکتا ہے، اور Google Search Console میں robots.txt رپورٹ وہ کاپی دکھاتی ہے جو Google نے آخری بار منگوائی۔
جب robots.txt کرالر کو اجازت دے اور وہ پھر بھی بلاک ہو
robots.txt صرف ایک درخواست ہے۔ فائر وال، بوٹ پروٹیکشن سروس یا CDN کا اصول پھر بھی کرالر کو 403 یا چیلنج صفحے سے جواب دے سکتا ہے جبکہ لوگوں کو صفحہ ملتا ہے۔ ٹیسٹر یہ نہیں دیکھ سکتا، کیونکہ وہ صرف ایک فائل پڑھتا ہے۔ مکمل جانچ آپ کا صفحہ ہر کرالر کے user agent کے ساتھ اور ساتھ میں ایک عام براؤزر سے منگواتی ہے اور دکھاتی ہے کہ کس کرالر کو مختلف جواب ملتا ہے، HTTP اسٹیٹس اور فائر وال کے دستخط کے ساتھ۔
اکثر پوچھے جانے والے سوالات
کیا یہ Google کے robots.txt Tester جیسا ہی ہے؟
نہیں۔ Google نے اپنا الگ robots.txt Tester 2023 میں بند کر دیا؛ اب Search Console میں robots.txt رپورٹ صرف Google کے کرالرز کے لیے وہ فائل جو Google نے منگوائی اور parsing کی خرابیاں دکھاتی ہے۔ یہ ٹیسٹر وہی RFC 9309 اصول ایک ساتھ 16 AI اور سرچ کرالرز پر لاگو کرتا ہے۔
کیا اجازت ہے کا مطلب ہے کہ کرالر میرا صفحہ پڑھے گا یا اس کا حوالہ دے گا؟
نہیں۔ اس کا مطلب ہے کہ robots.txt اسے منع نہیں کرتی۔ کرالر کو صفحہ ملتا ہے یا نہیں، یہ آپ کے سرور اور فائر وال پر منحصر ہے، اور کوئی اسسٹنٹ اس کا حوالہ دیتا ہے یا نہیں، یہ آپ کے مواد اور پوچھے گئے سوال پر منحصر ہے۔
کوئی کرالر "کوئی اصول نہیں" کیوں دکھاتا ہے؟
آپ کی فائل میں نہ اس کے ٹوکن کا گروپ ہے اور نہ User-agent: * گروپ، اس لیے اس پر کچھ لاگو نہیں ہوتا اور ہر path کی اجازت ہے۔
کیا میں ایسی robots.txt جانچ سکتا ہوں جو ابھی شائع نہیں ہوئی؟
جی ہاں۔ متن دوسرے خانے میں پیسٹ کریں اور جانچنے کا path درج کریں۔ آپ کی سائٹ سے کچھ نہیں منگوایا جاتا، اور پیسٹ کیا گیا متن محفوظ نہیں ہوتا۔
کیا ٹیسٹر GPTBot یا دوسرے کرالرز بن کر درخواستیں بھیجتا ہے؟
نہیں۔ یہ صرف آپ کی robots.txt پڑھتا ہے اور اصول لاگو کرتا ہے۔ یہ دیکھنے کے لیے کہ ہر کرالر کو آپ کے سرور سے اصل میں کیا ملتا ہے، مکمل جانچ چلائیں۔
میں اسے کتنی بار استعمال کر سکتا ہوں؟
یہ مفت ہے اور اکاؤنٹ کی ضرورت نہیں۔ اسے سب کے لیے دستیاب رکھنے کے لیے ہر نیٹ ورک فی گھنٹہ محدود تعداد میں ٹیسٹ چلا سکتا ہے۔