GPTBot boshqa joyga yoʻnaltiriladi
Shu kraulerning user agenti bilan yuborilgan soʻrov brauzer yetib boradigan sahifada emas, boshqa joyda tugadi: boshqa hostda yoki login, signin, captcha yoki blocked soʻzlari bor yoʻlda. Krauler odamlar bilan bir xil URLʼga tushishi uchun user agentni nishonga olgan yoʻnaltirish qoidasini olib tashlang.
Bu nimani anglatadi
GPTBot user agenti bilan yuborilgan soʻrov brauzer oladigan sahifada emas, https://example.com/b manzilida tugaydi.
Bu AI qidiruvi uchun nega muhim
Login formasi, captcha sahifasi yoki boshqa domenga yoʻnaltirilgan krauler oʻzi yuborilgan kontentni hech qachon oʻqimaydi. Shunda javob tizimlari sahifani tashlab ketadi yoki kontentni u tugagan URLʼga bogʻlaydi, bu esa koʻpincha iqtibos keltirishga arziydigan hech narsasi yoʻq umumiy sahifa boʻladi.
Bunday yoʻnaltirishlar odatda user agentga qarab ishlaydigan bot himoyasi, paywall, aʼzolik yoki geo qoidalaridan keladi. OAI-SearchBot, Claude-User va PerplexityBot kabi qidiruv va foydalanuvchi kraulerlariga ham oʻqitish kraulerlari kabi taʼsir qiladi, shuning uchun bu topilma kraulerning roliga qarab baholanadi.
Qanday tuzatish kerak
- Krauler qayerga yuborilganini koʻrish uchun topilmadagi yakuniy URLʼni oʻqing. AISeeWhy hisoboti dalillar va joylashtirishga tayyor tuzatishni koʻrsatadi; natijani tasdiqlash uchun keyin “Qayta tekshirish” tugmasini bosing.
- CDNʼdagi yoʻnaltirish qoidalarini (Cloudflare Redirect Rules, Page Rules yoki Workers), nginxʼdagi
return 301/302yokirewritebloklarini va Apacheʼdagi user agent sharti borRewriteRuleqatorlarini tekshiring. - WordPress yoki Shopifyʼda notanish tashrifchilarni login yoki mamlakat sahifasiga yuboradigan aʼzolik, yosh tekshiruvi, texnik xizmat rejimi va geo-yoʻnaltirish ilovalariga qarang.
- Kraulerni qoidadan istisno qiling yoki yoʻnaltirish oʻrniga yopiq kontentning ommaviy qisqacha mazmunini asl URLʼda koʻrsating.
Tuzatishni qanday tasdiqlash mumkin
Oʻzgarishdan keyin hisobotda “Qayta tekshirish” tugmasini bosing: u nima tuzatilgani va ball qanday oʻzgarganini koʻrsatadi.