robots.txt ایک HTML صفحہ ہے

مختصر جواب

/robots.txt کا پتہ ایک HTML دستاویز لوٹاتا ہے، عموماً 404 صفحہ یا ہوم پیج جو اسٹیٹس 200 کے ساتھ دیا جاتا ہے۔ کرالرز HTML سے کوئی اصول نہیں پڑھ سکتے۔ اس پاتھ پر سادہ متن والا robots.txt دیں، یا اگر آپ کے کوئی اصول نہیں تو اصل 404 اسٹیٹس لوٹائیں۔

robots.invalid · ترجیح: P2

اس کا کیا مطلب ہے

robots.txt کا پتہ HTML لوٹاتا ہے (اکثر اسٹیٹس 200 کے ساتھ 404 صفحہ)، اس لیے کرالرز کوئی اصول نہیں پڑھ سکتے۔

AI سرچ کے لیے یہ کیوں اہم ہے

کرالرز robots.txt کو لائن بہ لائن پارس کرتے ہیں اور جو نہ سمجھیں اسے نظر انداز کرتے ہیں، اس لیے HTML صفحہ انہیں نہ کوئی اصول دیتا ہے نہ کوئی Sitemap لائن۔ آپ کی مطلوبہ پالیسی، جیسے ٹریننگ کرالرز کو بلاک کرنا یا سرچ کرالرز کو اجازت دینا، لاگو نہیں ہوتی، اور وہاں درج سائٹ میپس نہیں ملتے۔

یہ عموماً single-page ایپس اور catch-all روٹس کے ساتھ ہوتا ہے جو ہر نامعلوم پاتھ کا جواب ایپ شیل اور اسٹیٹس 200 کے ساتھ دیتے ہیں۔ AISeeWhy فیصلہ مواد سے کرتا ہے، Content-Type ہیڈر سے نہیں، کیونکہ کرالرز بھی یہی کرتے ہیں: text/html کے طور پر دی گئی متنی فائل پھر بھی پڑھی جاتی ہے، HTML صفحہ نہیں۔

اسے کیسے ٹھیک کریں

  1. /robots.txt کھولیں اور سورس دیکھیں: اگر یہ <!doctype یا <html سے شروع ہوتا ہے تو فائل موجود نہیں اور کوئی fallback روٹ جواب دے رہا ہے۔
  2. ایک اصل فائل شامل کریں: Next.js، Vite یا Create React App میں public/robots.txt، nginx یا Apache پر ویب روٹ، یا Shopify پر robots.txt.liquid ٹیمپلیٹ۔
  3. nginx میں یقینی بنائیں کہ try_files ... /index.html fallback، جامد فائل کی جانچ سے پہلے /robots.txt کو نہ پکڑ لے؛ ضرورت ہو تو location = /robots.txt شامل کریں۔
  4. اپنا catch-all روٹ ٹھیک کریں تاکہ نامعلوم پاتھس کے لیے اسٹیٹس 404 بھیجے۔ AISeeWhy رپورٹ ثبوت اور پیسٹ کرنے کے لیے تیار حل دکھاتی ہے؛ بعد میں یہ تصدیق کرنے کے لیے کہ مسئلہ حل ہو گیا، "دوبارہ جانچیں" چلائیں۔

مثال

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

حل کی تصدیق کیسے کریں

تبدیلی کے بعد رپورٹ پر "دوبارہ جانچیں" دبائیں: یہ بتاتی ہے کہ کیا درست ہوا اور اسکور کیسے بدلا۔

میرا صفحہ جانچیں ←

متعلقہ گائیڈز

تمام نتائج اور اسکور کیسے کام کرتا ہے