robots.txt GPTBot کو اجازت دیتا ہے، لیکن سرور اسے بلاک کرتا ہے
آپ کا robots.txt اس کرالر کو صفحہ منگوانے کی اجازت دیتا ہے، لیکن اس کے یوزر ایجنٹ والی درخواست سرور، CDN یا فائر وال نے بلاک کر دی۔ بیان کردہ پالیسی اور اصل رویہ آپس میں متفق نہیں۔ فائر وال کا اصول robots.txt کے مطابق کریں، یا اگر آپ کرالر کو بلاک کرنا چاہتے تھے تو robots.txt میں اسے ممنوع کریں۔
اس کا کیا مطلب ہے
آپ کے اصول GPTBot کو آنے دیتے ہیں، پھر بھی اس کے یوزر ایجنٹ والی درخواست بلاک ہو گئی۔ فائر وال یا CDN آپ کی بیان کردہ پالیسی پر حاوی ہو جاتا ہے۔
AI سرچ کے لیے یہ کیوں اہم ہے
کرالرز robots.txt کو آپ کی پالیسی سمجھتے ہیں۔ جب یہ ہاں کہے اور سرور 403 دے تو کرالر درخواستیں ضائع کرتا ہے، بعد میں دوبارہ کوشش کر سکتا ہے، اور صفحہ پھر بھی جواب دینے والے انجن کے انڈیکس تک نہیں پہنچتا۔ ٹیمیں اکثر سمجھتی ہیں کہ وہ AI سرچ کو اجازت دیتی ہیں کیونکہ robots.txt یہی کہتا ہے، جبکہ کوئی بوٹ اصول خاموشی سے اسے بلاک کر رہا ہوتا ہے۔
جانچ غیر تصدیق شدہ IP پتے سے چلتی ہے۔ اس لیے جو اصول کرالر کو صرف اس کی شائع شدہ IP رینجز سے آنے دیتا ہے، جو ایک معقول سیٹ اپ ہے، یہاں ظاہر ہو سکتا ہے حالانکہ اصل کرالر اندر آ جاتا ہے۔ کچھ بھی بدلنے سے پہلے دیکھیں کہ کون سا اصول فعال ہوا۔
اسے کیسے ٹھیک کریں
- نتیجے میں robots.txt کے گروپ اور بلاک شدہ درخواست کے اسٹیٹس کا موازنہ کریں۔ AISeeWhy رپورٹ ثبوت اور پیسٹ کرنے کے لیے تیار حل دکھاتی ہے؛ بعد میں یہ تصدیق کرنے کے لیے کہ مسئلہ حل ہو گیا، "دوبارہ جانچیں" چلائیں۔
- وہ اصول تلاش کریں جس نے درخواست بلاک کی: Cloudflare پر Security → Events اور AI Crawl Control اور Bot Fight Mode کی سیٹنگز دیکھیں؛ دوسرے CDNs پر bot management کا لاگ دیکھیں۔
- اگر آپ کرالر کو آنے دینا چاہتے ہیں تو اس کے لیے استثنا شامل کریں؛ اگر روکنا چاہتے ہیں تو اس کے ٹوکن کے لیے Disallow گروپ شامل کریں تاکہ آپ کی پالیسی ایک ہی جگہ بیان ہو۔
حل کی تصدیق کیسے کریں
تبدیلی کے بعد رپورٹ پر "دوبارہ جانچیں" دبائیں: یہ بتاتی ہے کہ کیا درست ہوا اور اسکور کیسے بدلا۔