2 صفحات نے کرال سے انکار کیا
جب آڈٹ نے ان صفحات کو براؤزر کی طرح منگوایا تو انہوں نے 401، 403، 429 یا 503 کے ساتھ جواب دیا، یا ٹائم آؤٹ ہو گئے۔ یہ اکثر خراب صفحے کی بجائے فائر وال، بوٹ پروٹیکشن یا rate limit ہوتا ہے۔ دیکھیں کہ کیا سرچ اور AI کرالرز کو بھی یہی جواب ملتا ہے۔
اس کا کیا مطلب ہے
ان صفحات نے 401، 403، 429 یا 503 کا جواب دیا، یا ان کا وقت ختم ہو گیا۔ ہو سکتا ہے فائر وال یا ریٹ لمٹ کرالرز کو بھی روک رہی ہو؛ چیک کریں کہ کیا سرچ اور AI کرالرز کو بھی یہی جواب ملتا ہے۔
AI سرچ کے لیے یہ کیوں اہم ہے
آڈٹ ایک سرور سے کم وقت میں بہت سے صفحات منگواتا ہے، اس لیے rate limit 429 یا 503 کے ساتھ جواب دے سکتا ہے حالانکہ لوگوں کو صفحہ ملتا ہے۔ اگر یہی اصول سرچ اور AI کرالرز پر لاگو ہو تو یہ صفحات ان کے انڈیکس کے لیے منگوائے نہیں جاتے اور AI جوابات میں ان کا حوالہ نہیں دیا جا سکتا۔
401 کا مطلب ہے کہ صفحے کو لاگ اِن درکار ہے، جو اکاؤنٹ والے حصوں کے لیے متوقع ہے لیکن عوامی مواد کے لیے نہیں۔ ہر صفحے پر 503 کا مطلب ہو سکتا ہے کہ maintenance mode چالو رہ گیا ہے۔ یہ صفحات ٹوٹے ہوئے لنکس سے الگ رکھے جاتے ہیں کیونکہ حل اس پر منحصر ہے کہ کسے انکار کیا جا رہا ہے۔
اسے کیسے ٹھیک کریں
- درج URLs میں سے چند کو private براؤزر window میں کھولیں۔ اگر وہ لوڈ ہو جائیں تو بلاک خودکار درخواستوں کے لیے ہے۔
- اپنی فائر وال، CDN یا ہوسٹنگ کے لاگز میں انکار کی گئی درخواستیں تلاش کریں۔ یقینی بنائیں کہ Googlebot اور Bingbot جیسے تصدیق شدہ سرچ کرالرز، اور وہ AI سرچ کرالرز جنہیں آپ چاہتے ہیں، کو اجازت ہو؛ بہت سے CDNs میں، جن میں Cloudflare بھی شامل ہے، تصدیق شدہ بوٹس کی سیٹنگ موجود ہے۔
- اگر اس کی وجہ rate limit تھی تو عام صفحات کی درخواستوں کے لیے حد بڑھائیں یا HTML صفحات کو اس سے باہر رکھیں۔
- اگر صفحات 401 لوٹاتے ہیں تو عوامی صفحات سے لاگ اِن ہٹائیں، یا عوامی صفحات سے نجی صفحات کو لنک کرنا بند کریں۔
- یہ تصدیق کرنے کے لیے کہ مسئلہ حل ہو گیا، اپنے اکاؤنٹ سے سائٹ آڈٹ دوبارہ چلائیں۔
حل کی تصدیق کیسے کریں
تبدیلی کے بعد رپورٹ پر "دوبارہ جانچیں" دبائیں: یہ بتاتی ہے کہ کیا درست ہوا اور اسکور کیسے بدلا۔