robots.txt — HTML sahifa

Qisqa javob

/robots.txt manzili HTML hujjat qaytaradi, odatda 200 statusi bilan berilgan 404 sahifasi yoki bosh sahifa. Kraulerlar HTMLʼdan hech qanday qoidani oʻqiy olmaydi. Shu yoʻlda oddiy matnli robots.txt bering yoki qoidalaringiz boʻlmasa, haqiqiy 404 statusini qaytaring.

robots.invalid · Ustuvorlik: P2

Bu nimani anglatadi

robots.txt manzili HTML qaytaradi (koʻpincha 200 statusi bilan berilgan 404 sahifasi), shuning uchun kraulerlar hech qanday qoidani oʻqiy olmaydi.

Bu AI qidiruvi uchun nega muhim

Kraulerlar robots.txt ni qatorma-qator tahlil qiladi va tushunmagan narsasini eʼtiborsiz qoldiradi, shuning uchun HTML sahifa ularga hech qanday qoida ham, Sitemap qatori ham bermaydi. Oʻqitish kraulerlarini bloklash yoki qidiruv kraulerlariga ruxsat berish kabi siz nazarda tutgan siyosat qoʻllanmaydi va u yerda eʼlon qilingan sitemapʼlar topilmaydi.

Bu odatda har bir notanish yoʻlga ilova qobigʻi va 200 statusi bilan javob beradigan single-page ilovalar va catch-all marshrutlarda yuz beradi. AISeeWhy Content-Type sarlavhasiga emas, javob tanasiga qarab baho beradi, chunki kraulerlar ham shunday qiladi: text/html sifatida berilgan matnli fayl baribir oʻqiladi, HTML sahifa esa yoʻq.

Qanday tuzatish kerak

  1. /robots.txt ni oching va manba kodini koʻring: agar u <!doctype yoki <html bilan boshlansa, fayl yoʻq va javobni zaxira marshrut bermoqda.
  2. Haqiqiy fayl qoʻshing: Next.js, Vite yoki Create React Appʼda public/robots.txt, nginx yoki Apacheʼda veb ildiz, Shopifyʼda esa robots.txt.liquid shabloni.
  3. nginxʼda try_files ... /index.html zaxira qoidasi statik fayl tekshirilishidan oldin /robots.txt ni ushlab qolmasligiga ishonch hosil qiling; kerak boʻlsa, location = /robots.txt qoʻshing.
  4. Catch-all marshrutingizni notanish yoʻllar uchun 404 statusini yuboradigan qilib tuzating. AISeeWhy hisoboti dalillar va joylashtirishga tayyor tuzatishni koʻrsatadi; natijani tasdiqlash uchun keyin “Qayta tekshirish” tugmasini bosing.

Namuna

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Tuzatishni qanday tasdiqlash mumkin

Oʻzgarishdan keyin hisobotda “Qayta tekshirish” tugmasini bosing: u nima tuzatilgani va ball qanday oʻzgarganini koʻrsatadi.

Sahifamni tekshirish →

Tegishli qoʻllanmalar

Barcha topilmalar va ball qanday hisoblanishi