OAI-SearchBot مسدود است
درخواستی که با user agent این خزنده فرستاده شد رد شد: وضعیت 4xx یا 5xx، هدر cf-mitigated از Cloudflare یا یک صفحه چالش دریافت کرد، در حالی که درخواست یک مرورگر معمولی خود صفحه را گرفت. قانون فایروال، CDN یا ربات را که با این user agent مطابقت دارد پیدا کنید و اجازه دهید خزنده عبور کند.
یعنی چه
درخواستی با user agent OAI-SearchBot وضعیت 403 یا صفحه چالش گرفت، در حالی که مرورگر خود صفحه را گرفت. آزمون از یک IP تأییدنشده انجام شده است: این نشان میدهد فایروال شما با این user agent چه رفتاری دارد؛ ممکن است با خزنده واقعی که از IPهای تأییدشدهاش میآید رفتار دیگری شود.
چرا برای جستجوی هوش مصنوعی مهم است
خزندههای جستجو و کاربر مانند OAI-SearchBot، ChatGPT-User، Claude-SearchBot، Claude-User، PerplexityBot و Perplexity-User صفحهها را دریافت میکنند تا پاسخها و لینکهای زیر آنها را بسازند. اگر وضعیت 403 یا صفحه چالش بگیرند، صفحه هر قدر هم خوب باشد نمیتواند نقل یا لینک شود. به همین دلیل AISeeWhy مسدود شدن این خزندهها را P1 ارزیابی میکند.
خزندههای آموزشی (GPTBot، ClaudeBot، CCBot، Bytespider، Meta-ExternalAgent) در سطح P3 قرار میگیرند: مسدود کردن آنها یک انتخاب سیاستی است، نه خطا. درخواست آزمایشی از یک IP تأییدنشده فرستاده میشود، پس نشان میدهد قوانین شما با این user agent چه میکنند؛ خزنده واقعی که از محدودههای IP منتشرشده خود میآید ممکن است رفتار متفاوتی ببیند.
چطور آن را اصلاح کنید
- یافته را باز کنید تا ببینید کدام خزنده مسدود شد، چه وضعیتی گرفت و ممیزی کدام WAF را تشخیص داد. گزارش AISeeWhy شواهد و یک راهحل آماده برای چسباندن را نشان میدهد؛ پس از آن «بررسی دوباره» را اجرا کنید تا نتیجه را تأیید کنید.
- در Cloudflare، رویداد مسدودشده را در Security → Events بررسی کنید، سپس یک قانون سفارشی WAF بسازید که با خزنده مطابقت دارد (رباتهای تأییدشده یا توکن user agent آن) و اکشن آن Skip برای بقیه قوانین سفارشی، Super Bot Fight Mode و محدودیت نرخ باشد. در AI Crawl Control، خزنده را روی Allow بگذارید.
- در Vercel، Akamai، Imperva، Sucuri یا AWS WAF، قانون مدیریت ربات یا قانون مدیریتشدهای را که فعال شده پیدا کنید و برای خزنده استثنا بگذارید؛ ترجیحاً با تأیید از طریق محدودههای IP منتشرشده فروشنده یا DNS معکوس، نه فقط با user agent.
- در nginx یا Apache، پیکربندی را برای خطوط
deny،return 403یاRewriteCond %{HTTP_USER_AGENT}که نام خزنده را دارند جستجو کنید و در WordPress افزونههای امنیتی را که «رباتهای بد» را مسدود میکنند بررسی کنید. - برای هر خزنده جداگانه تصمیم بگیرید: اجازه دادن به خزندههای جستجو و کاربر همان چیزی است که باعث نقل شدن صفحهها میشود، در حالی که خزندههای آموزشی اگر سیاست شما چنین است میتوانند مسدود بمانند.
نمونه
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting چطور از رفع مشکل مطمئن شویم
پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست میکند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.
راهنماهای مرتبط
- چطور گزارش AI Crawl Control در Cloudflare را بخوانیم و ببینیم کدام خزندههای هوش مصنوعی وارد میشوند
- آیا Cloudflare خزندههای هوش مصنوعی را مسدود میکند؟ روش تشخیص و رفع
- آیا ChatGPT سایت من را میبیند؟ روش بررسی
- 12 بررسی AEO که باید پیش از انتشار هر صفحه انجام دهید (2027)
- SEO 2.0: جستجوی هوش مصنوعی و دستیارها چطور SEO را تغییر دادند، لایه به لایه