robots.txt ایک HTML صفحہ ہے
/robots.txt کا پتہ ایک HTML دستاویز لوٹاتا ہے، عموماً 404 صفحہ یا ہوم پیج جو اسٹیٹس 200 کے ساتھ دیا جاتا ہے۔ کرالرز HTML سے کوئی اصول نہیں پڑھ سکتے۔ اس پاتھ پر سادہ متن والا robots.txt دیں، یا اگر آپ کے کوئی اصول نہیں تو اصل 404 اسٹیٹس لوٹائیں۔
اس کا کیا مطلب ہے
robots.txt کا پتہ HTML لوٹاتا ہے (اکثر اسٹیٹس 200 کے ساتھ 404 صفحہ)، اس لیے کرالرز کوئی اصول نہیں پڑھ سکتے۔
AI سرچ کے لیے یہ کیوں اہم ہے
کرالرز robots.txt کو لائن بہ لائن پارس کرتے ہیں اور جو نہ سمجھیں اسے نظر انداز کرتے ہیں، اس لیے HTML صفحہ انہیں نہ کوئی اصول دیتا ہے نہ کوئی Sitemap لائن۔ آپ کی مطلوبہ پالیسی، جیسے ٹریننگ کرالرز کو بلاک کرنا یا سرچ کرالرز کو اجازت دینا، لاگو نہیں ہوتی، اور وہاں درج سائٹ میپس نہیں ملتے۔
یہ عموماً single-page ایپس اور catch-all روٹس کے ساتھ ہوتا ہے جو ہر نامعلوم پاتھ کا جواب ایپ شیل اور اسٹیٹس 200 کے ساتھ دیتے ہیں۔ AISeeWhy فیصلہ مواد سے کرتا ہے، Content-Type ہیڈر سے نہیں، کیونکہ کرالرز بھی یہی کرتے ہیں: text/html کے طور پر دی گئی متنی فائل پھر بھی پڑھی جاتی ہے، HTML صفحہ نہیں۔
اسے کیسے ٹھیک کریں
/robots.txtکھولیں اور سورس دیکھیں: اگر یہ<!doctypeیا<htmlسے شروع ہوتا ہے تو فائل موجود نہیں اور کوئی fallback روٹ جواب دے رہا ہے۔- ایک اصل فائل شامل کریں: Next.js، Vite یا Create React App میں
public/robots.txt، nginx یا Apache پر ویب روٹ، یا Shopify پرrobots.txt.liquidٹیمپلیٹ۔ - nginx میں یقینی بنائیں کہ
try_files ... /index.htmlfallback، جامد فائل کی جانچ سے پہلے/robots.txtکو نہ پکڑ لے؛ ضرورت ہو توlocation = /robots.txtشامل کریں۔ - اپنا catch-all روٹ ٹھیک کریں تاکہ نامعلوم پاتھس کے لیے اسٹیٹس 404 بھیجے۔ AISeeWhy رپورٹ ثبوت اور پیسٹ کرنے کے لیے تیار حل دکھاتی ہے؛ بعد میں یہ تصدیق کرنے کے لیے کہ مسئلہ حل ہو گیا، "دوبارہ جانچیں" چلائیں۔
مثال
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml حل کی تصدیق کیسے کریں
تبدیلی کے بعد رپورٹ پر "دوبارہ جانچیں" دبائیں: یہ بتاتی ہے کہ کیا درست ہوا اور اسکور کیسے بدلا۔