Sahifa qidiruv tizimlariga uni indekslamaslikni aytadi
Sahifa qidiruv tizimlariga uni indekslamaslikni aytadi: noindex yoki none robots, googlebot yoki bingbot meta tegida yoxud X-Robots-Tag HTTP sarlavhasida uchraydi. Topilma qaysi biri ekanini koʻrsatadi. Bunda Google va Bing sahifani oʻz natijalaridan chetda qoldiradi. Sahifa topilishi kerak boʻlsa, qoidani olib tashlang.
Bu nimani anglatadi
noindex qoidasi (meta) bu sahifani Google va Bingʼdan, demak ularning indeksiga asoslangan AI javoblaridan ham chetda qoldiradi. Sahifa topilishi kerak boʻlsa, uni olib tashlang.
Bu AI qidiruvi uchun nega muhim
Google va Bing sahifani navbatdagi skanerlashda noindex qoidasiga amal qiladi va sahifa ularning natijalaridan chiqib ketadi. Shunda oʻsha qidiruv indekslariga asoslangan AI javoblari va AI qidiruv funksiyalari ham sahifani topmaydi.
Noindex checkout qadamlari, ichki qidiruv natijalari yoki minnatdorchilik sahifalari kabi sahifalar uchun toʻgʻri. Muammo u staging saytdan qolib ketganda, butun saytga taalluqli “qidiruv tizimlarini indekslashdan qaytarish” opsiyasi bilan oʻrnatilganda yoki HTMLʼda hech kim koʻrmaydigan server yoki CDN qoidasi orqali sarlavha sifatida yuborilganda paydo boʻladi.
Qanday tuzatish kerak
- Topilmadagi manbani tekshiring: HTMLʼdagi meta teg yoki
X-Robots-Tagsarlavhasi. - Meta teg boʻlsa, undan
noindexvanoneni olib tashlang yoki tegni oʻchiring. WordPressʼda Settings → Reading → “Discourage search engines from indexing this site” oʻchirilganini tekshiring va sahifaning oʻz SEO sozlamalarini koʻring. Shopifyʼda robots meta tegini qoʻshadigan mavzu kodi va ilovalarni tekshiring. - Sarlavha boʻlsa, u qayerda oʻrnatilganini toping — masalan Nginx
add_header, ApacheHeader set,_headersfayli, Cloudflare Transform Rule yoki freymvork middlewareʼi — va uni bu sahifa uchun olib tashlang. - Bir vaqtning oʻzida sahifani robots.txt da bloklamang: noindex olib tashlanganini koʻrish uchun kraulerlar sahifani yuklashi kerak.
- Natijani tasdiqlash uchun sahifa hisobotida “Qayta tekshirish” tugmasini bosing.
Namuna
# nginx: send noindex only where it belongs, not site-wide
location /search/ {
add_header X-Robots-Tag "noindex";
} Tuzatishni qanday tasdiqlash mumkin
Oʻzgarishdan keyin hisobotda “Qayta tekshirish” tugmasini bosing: u nima tuzatilgani va ball qanday oʻzgarganini koʻrsatadi.