robots.txt میں OAI-SearchBot ممنوع ہے

مختصر جواب

آپ کے robots.txt میں ایک Disallow اصول ہے جو اس کرالر کے ٹوکن کے لیے اس صفحے سے میل کھاتا ہے۔ آڈٹ RFC 9309 لاگو کرتا ہے: اگر کرالر کا اپنا گروپ ہو تو وہ، ورنہ * گروپ، اور سب سے لمبا میل کھانے والا اصول غالب رہتا ہے۔ اگر آپ کرالر کو آنے دینا چاہتے ہیں تو اس کے لیے Allow شامل کریں یا اصول ہٹا دیں۔

robots.disallowed · ترجیح: P1–P3، کرالر کی قسم کے لحاظ سے

اس کا کیا مطلب ہے

آپ کے robots.txt کے اصول OAI-SearchBot کو / منگوانے سے روکتے ہیں۔

AI سرچ کے لیے یہ کیوں اہم ہے

اچھے رویے والے AI کرالرز robots.txt کی پابندی کرتے ہیں۔ اگر OAI-SearchBot، Claude-SearchBot یا PerplexityBot ممنوع ہوں تو صفحہ ان کے سرچ انڈیکس کے لیے منگوایا نہیں جاتا، اس لیے ان کے جوابات میں اس کا حوالہ نہیں دیا جا سکتا۔ GPTBot، ClaudeBot، Google-Extended یا Applebot-Extended جیسے ٹریننگ ٹوکنز کو ممنوع کرنا صرف ماڈل ٹریننگ میں استعمال کو روکتا ہے۔

بہت سی سائٹس غلطی سے AI کرالرز کو بلاک کر دیتی ہیں: ایسا ٹیمپلیٹ جو Googlebot کے سوا سب کچھ ممنوع کرتا ہے، یا staging سے بچا ہوا User-agent: * گروپ جس میں Disallow: / ہو۔ نوٹ کریں کہ جب Applebot کا اپنا گروپ نہ ہو تو وہ Googlebot کا گروپ استعمال کرتا ہے۔

اسے کیسے ٹھیک کریں

  1. نتیجے میں اصول تلاش کریں: اس میں کرالر کا ٹوکن اور پاتھ درج ہے۔ AISeeWhy رپورٹ ثبوت اور پیسٹ کرنے کے لیے تیار حل دکھاتی ہے؛ بعد میں یہ تصدیق کرنے کے لیے کہ مسئلہ حل ہو گیا، "دوبارہ جانچیں" چلائیں۔
  2. کرالر کا ٹوکن ہر اس گروپ سے ہٹائیں جو صفحے کو ممنوع کرتا ہے، پھر Allow: / کے ساتھ اس کا اپنا گروپ شامل کریں۔ مخصوص گروپ اس کرالر کے لیے * گروپ کی جگہ لے لیتا ہے، اس لیے * کے تحت اصول اس پر لاگو نہیں رہتے۔
  3. WordPress پر دیکھیں کہ robots.txt ویب روٹ میں ایک اصل فائل ہے یا Yoast یا Rank Math جیسے SEO پلگ ان سے بنتی ہے، اور اسے وہیں ایڈٹ کریں۔ Shopify پر تھیم ٹیمپلیٹ robots.txt.liquid ایڈٹ کریں۔
  4. Cloudflare پر دیکھیں کہ کہیں managed robots.txt سیٹنگ آپ کی اپنی فائل کے اوپر AI کرالرز کے اصول تو شامل نہیں کرتی۔
  5. اگر آپ کی پالیسی یہی ہے تو ٹریننگ ٹوکنز کو ممنوع رہنے دیں؛ اس سے ان سرچ کرالرز پر اثر نہیں پڑتا جو الگ ٹوکن استعمال کرتے ہیں۔

مثال

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

حل کی تصدیق کیسے کریں

تبدیلی کے بعد رپورٹ پر "دوبارہ جانچیں" دبائیں: یہ بتاتی ہے کہ کیا درست ہوا اور اسکور کیسے بدلا۔

میرا صفحہ جانچیں ←

متعلقہ گائیڈز

تمام نتائج اور اسکور کیسے کام کرتا ہے