robots.txt — HTML sahifa
/robots.txt manzili HTML hujjat qaytaradi, odatda 200 statusi bilan berilgan 404 sahifasi yoki bosh sahifa. Kraulerlar HTMLʼdan hech qanday qoidani oʻqiy olmaydi. Shu yoʻlda oddiy matnli robots.txt bering yoki qoidalaringiz boʻlmasa, haqiqiy 404 statusini qaytaring.
Bu nimani anglatadi
robots.txt manzili HTML qaytaradi (koʻpincha 200 statusi bilan berilgan 404 sahifasi), shuning uchun kraulerlar hech qanday qoidani oʻqiy olmaydi.
Bu AI qidiruvi uchun nega muhim
Kraulerlar robots.txt ni qatorma-qator tahlil qiladi va tushunmagan narsasini eʼtiborsiz qoldiradi, shuning uchun HTML sahifa ularga hech qanday qoida ham, Sitemap qatori ham bermaydi. Oʻqitish kraulerlarini bloklash yoki qidiruv kraulerlariga ruxsat berish kabi siz nazarda tutgan siyosat qoʻllanmaydi va u yerda eʼlon qilingan sitemapʼlar topilmaydi.
Bu odatda har bir notanish yoʻlga ilova qobigʻi va 200 statusi bilan javob beradigan single-page ilovalar va catch-all marshrutlarda yuz beradi. AISeeWhy Content-Type sarlavhasiga emas, javob tanasiga qarab baho beradi, chunki kraulerlar ham shunday qiladi: text/html sifatida berilgan matnli fayl baribir oʻqiladi, HTML sahifa esa yoʻq.
Qanday tuzatish kerak
/robots.txtni oching va manba kodini koʻring: agar u<!doctypeyoki<htmlbilan boshlansa, fayl yoʻq va javobni zaxira marshrut bermoqda.- Haqiqiy fayl qoʻshing: Next.js, Vite yoki Create React Appʼda
public/robots.txt, nginx yoki Apacheʼda veb ildiz, Shopifyʼda esarobots.txt.liquidshabloni. - nginxʼda
try_files ... /index.htmlzaxira qoidasi statik fayl tekshirilishidan oldin/robots.txtni ushlab qolmasligiga ishonch hosil qiling; kerak boʻlsa,location = /robots.txtqoʻshing. - Catch-all marshrutingizni notanish yoʻllar uchun 404 statusini yuboradigan qilib tuzating. AISeeWhy hisoboti dalillar va joylashtirishga tayyor tuzatishni koʻrsatadi; natijani tasdiqlash uchun keyin “Qayta tekshirish” tugmasini bosing.
Namuna
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml Tuzatishni qanday tasdiqlash mumkin
Oʻzgarishdan keyin hisobotda “Qayta tekshirish” tugmasini bosing: u nima tuzatilgani va ball qanday oʻzgarganini koʻrsatadi.