OAI-SearchBot بلاک ہے

مختصر جواب

اس کرالر کے یوزر ایجنٹ کے ساتھ بھیجی گئی درخواست رد کر دی گئی: اسے 4xx یا 5xx اسٹیٹس، Cloudflare کا cf-mitigated ہیڈر یا چیلنج صفحہ ملا، جبکہ عام براؤزر کی درخواست کو صفحہ مل گیا۔ وہ فائر وال، CDN یا بوٹ اصول تلاش کریں جو اس یوزر ایجنٹ سے میل کھاتا ہے، اور کرالر کو گزرنے دیں۔

access.blocked · ترجیح: P1–P3، کرالر کی قسم کے لحاظ سے

اس کا کیا مطلب ہے

OAI-SearchBot یوزر ایجنٹ والی درخواست کو اسٹیٹس 403 یا چیلنج صفحہ ملا، جبکہ براؤزر کو صفحہ مل گیا۔ ٹیسٹ غیر تصدیق شدہ IP سے کیا گیا: یہ دکھاتا ہے کہ آپ کا فائر وال اس یوزر ایجنٹ کے ساتھ کیا کرتا ہے؛ اپنی تصدیق شدہ IPs سے آنے والے اصل کرالر کے ساتھ مختلف سلوک ہو سکتا ہے۔

AI سرچ کے لیے یہ کیوں اہم ہے

سرچ اور یوزر کرالرز، جیسے OAI-SearchBot، ChatGPT-User، Claude-SearchBot، Claude-User، PerplexityBot اور Perplexity-User، جوابات اور ان کے نیچے دیے گئے لنکس بنانے کے لیے صفحات منگواتے ہیں۔ اگر انہیں 403 یا چیلنج صفحہ ملے تو صفحے کا حوالہ یا لنک نہیں دیا جا سکتا، چاہے وہ کتنا ہی اچھا ہو۔ اسی لیے AISeeWhy ان کرالرز کے بلاک کو P1 درجہ دیتا ہے۔

ٹریننگ کرالرز (GPTBot، ClaudeBot، CCBot، Bytespider، Meta-ExternalAgent) کو P3 درجہ دیا جاتا ہے: انہیں بلاک کرنا پالیسی کا فیصلہ ہے، غلطی نہیں۔ جانچ غیر تصدیق شدہ IP سے چلتی ہے، اس لیے یہ دکھاتی ہے کہ آپ کے اصول یوزر ایجنٹ کے ساتھ کیسا سلوک کرتے ہیں؛ اصل کرالر، جو اپنی شائع شدہ IP رینجز سے آتا ہے، کے ساتھ مختلف سلوک ہو سکتا ہے۔

اسے کیسے ٹھیک کریں

  1. نتیجہ کھولیں اور دیکھیں کہ کون سا کرالر بلاک ہوا، اسے کون سا اسٹیٹس ملا اور آڈٹ نے کون سا WAF پہچانا۔ AISeeWhy رپورٹ ثبوت اور پیسٹ کرنے کے لیے تیار حل دکھاتی ہے؛ بعد میں یہ تصدیق کرنے کے لیے کہ مسئلہ حل ہو گیا، "دوبارہ جانچیں" چلائیں۔
  2. Cloudflare پر Security → Events میں بلاک شدہ درخواست دیکھیں، پھر ایک WAF custom rule شامل کریں جو کرالر سے میل کھائے (verified bots یا اس کا یوزر ایجنٹ ٹوکن) اور جس کا action باقی custom rules، Super Bot Fight Mode اور rate limiting کے لیے Skip ہو۔ AI Crawl Control میں کرالر کو Allow پر سیٹ کریں۔
  3. Vercel، Akamai، Imperva، Sucuri یا AWS WAF پر وہ bot management یا managed rule تلاش کریں جو فعال ہوا، اور کرالر کے لیے استثنا شامل کریں، بہتر ہے کہ صرف یوزر ایجنٹ کے بجائے فراہم کنندہ کی شائع شدہ IP رینجز یا reverse DNS سے تصدیق کر کے۔
  4. nginx یا Apache پر کنفیگ میں deny، return 403 یا RewriteCond %{HTTP_USER_AGENT} والی وہ لائنیں تلاش کریں جن میں کرالر کا نام ہو، اور WordPress میں ان سکیورٹی پلگ انز کو دیکھیں جو "bad bots" کو بلاک کرتے ہیں۔
  5. ہر کرالر کے لیے الگ فیصلہ کریں: سرچ اور یوزر کرالرز کو اجازت دینے سے ہی صفحات کا حوالہ دیا جاتا ہے، جبکہ ٹریننگ کرالرز بلاک رہ سکتے ہیں اگر آپ کی پالیسی یہی ہے۔

مثال

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

حل کی تصدیق کیسے کریں

تبدیلی کے بعد رپورٹ پر "دوبارہ جانچیں" دبائیں: یہ بتاتی ہے کہ کیا درست ہوا اور اسکور کیسے بدلا۔

میرا صفحہ جانچیں ←

متعلقہ گائیڈز

تمام نتائج اور اسکور کیسے کام کرتا ہے