OAI-SearchBot مسدود است

پاسخ کوتاه

درخواستی که با user agent این خزنده فرستاده شد رد شد: وضعیت 4xx یا 5xx، هدر cf-mitigated از Cloudflare یا یک صفحه چالش دریافت کرد، در حالی که درخواست یک مرورگر معمولی خود صفحه را گرفت. قانون فایروال، CDN یا ربات را که با این user agent مطابقت دارد پیدا کنید و اجازه دهید خزنده عبور کند.

access.blocked · اولویت: P1 تا P3، بسته به نوع خزنده

یعنی چه

درخواستی با user agent OAI-SearchBot وضعیت 403 یا صفحه چالش گرفت، در حالی که مرورگر خود صفحه را گرفت. آزمون از یک IP تأییدنشده انجام شده است: این نشان می‌دهد فایروال شما با این user agent چه رفتاری دارد؛ ممکن است با خزنده واقعی که از IPهای تأییدشده‌اش می‌آید رفتار دیگری شود.

چرا برای جستجوی هوش مصنوعی مهم است

خزنده‌های جستجو و کاربر مانند OAI-SearchBot، ChatGPT-User، Claude-SearchBot، Claude-User، PerplexityBot و Perplexity-User صفحه‌ها را دریافت می‌کنند تا پاسخ‌ها و لینک‌های زیر آن‌ها را بسازند. اگر وضعیت 403 یا صفحه چالش بگیرند، صفحه هر قدر هم خوب باشد نمی‌تواند نقل یا لینک شود. به همین دلیل AISeeWhy مسدود شدن این خزنده‌ها را P1 ارزیابی می‌کند.

خزنده‌های آموزشی (GPTBot، ClaudeBot، CCBot، Bytespider، Meta-ExternalAgent) در سطح P3 قرار می‌گیرند: مسدود کردن آن‌ها یک انتخاب سیاستی است، نه خطا. درخواست آزمایشی از یک IP تأییدنشده فرستاده می‌شود، پس نشان می‌دهد قوانین شما با این user agent چه می‌کنند؛ خزنده واقعی که از محدوده‌های IP منتشرشده خود می‌آید ممکن است رفتار متفاوتی ببیند.

چطور آن را اصلاح کنید

  1. یافته را باز کنید تا ببینید کدام خزنده مسدود شد، چه وضعیتی گرفت و ممیزی کدام WAF را تشخیص داد. گزارش AISeeWhy شواهد و یک راه‌حل آماده برای چسباندن را نشان می‌دهد؛ پس از آن «بررسی دوباره» را اجرا کنید تا نتیجه را تأیید کنید.
  2. در Cloudflare، رویداد مسدودشده را در Security → Events بررسی کنید، سپس یک قانون سفارشی WAF بسازید که با خزنده مطابقت دارد (ربات‌های تأییدشده یا توکن user agent آن) و اکشن آن Skip برای بقیه قوانین سفارشی، Super Bot Fight Mode و محدودیت نرخ باشد. در AI Crawl Control، خزنده را روی Allow بگذارید.
  3. در Vercel، Akamai، Imperva، Sucuri یا AWS WAF، قانون مدیریت ربات یا قانون مدیریت‌شده‌ای را که فعال شده پیدا کنید و برای خزنده استثنا بگذارید؛ ترجیحاً با تأیید از طریق محدوده‌های IP منتشرشده فروشنده یا DNS معکوس، نه فقط با user agent.
  4. در nginx یا Apache، پیکربندی را برای خطوط deny، return 403 یا RewriteCond %{HTTP_USER_AGENT} که نام خزنده را دارند جستجو کنید و در WordPress افزونه‌های امنیتی را که «ربات‌های بد» را مسدود می‌کنند بررسی کنید.
  5. برای هر خزنده جداگانه تصمیم بگیرید: اجازه دادن به خزنده‌های جستجو و کاربر همان چیزی است که باعث نقل شدن صفحه‌ها می‌شود، در حالی که خزنده‌های آموزشی اگر سیاست شما چنین است می‌توانند مسدود بمانند.

نمونه

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

چطور از رفع مشکل مطمئن شویم

پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست می‌کند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.

بررسی صفحه من ←

راهنماهای مرتبط

همه یافته‌ها و نحوه محاسبه امتیاز