GPTBot به جای دیگری ریدایرکت میشود
درخواستی با user agent این خزنده به جایی غیر از صفحهای رسید که مرورگر به آن میرسد: به میزبان دیگری، یا به مسیری که login، signin، captcha یا blocked در آن هست. قانون ریدایرکتی را که این user agent را هدف میگیرد حذف کنید تا خزنده به همان URL برسد که افراد میرسند.
یعنی چه
درخواستی با user agent GPTBot به https://example.com/b میرسد، نه به صفحهای که مرورگر دریافت میکند.
چرا برای جستجوی هوش مصنوعی مهم است
خزندهای که به فرم ورود، صفحه captcha یا دامنه دیگری ریدایرکت میشود هرگز محتوایی را که برایش آمده نمیخواند. در این حالت موتورهای پاسخ یا صفحه را نادیده میگیرند یا محتوا را به URL مقصد نسبت میدهند که اغلب صفحهای عمومی است و چیزی ارزش نقل ندارد.
این ریدایرکتها معمولاً از محافظت در برابر ربات، دیوار پرداخت، عضویت یا قوانین جغرافیایی میآیند که بر اساس user agent عمل میکنند. خزندههای جستجو و کاربر مانند OAI-SearchBot، Claude-User و PerplexityBot به همان شکل خزندههای آموزشی تحت تأثیر قرار میگیرند، پس اولویت این یافته بر اساس نقش خزنده تعیین میشود.
چطور آن را اصلاح کنید
- URL نهایی را در یافته بخوانید تا ببینید خزنده به کجا فرستاده شد. گزارش AISeeWhy شواهد و یک راهحل آماده برای چسباندن را نشان میدهد؛ پس از آن «بررسی دوباره» را اجرا کنید تا نتیجه را تأیید کنید.
- قوانین ریدایرکت را در CDN خود (Redirect Rules، Page Rules یا Workers در Cloudflare)، در بلوکهای
return 301/302یاrewriteدر nginx و در خطوطRewriteRuleدر Apache که شرط user agent دارند بررسی کنید. - در WordPress یا Shopify، اپهای عضویت، تأیید سن، حالت تعمیر و ریدایرکت جغرافیایی را که بازدیدکنندگان ناشناس را به صفحه ورود یا صفحه کشور میفرستند بررسی کنید.
- خزنده را از قانون مستثنا کنید، یا بهجای ریدایرکت، خلاصه عمومی محتوای محدودشده را در همان URL اصلی نشان دهید.
چطور از رفع مشکل مطمئن شویم
پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست میکند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.