robots.txt ni yuklab boʻlmaydi

Qisqa javob

/robots.txt ni yuklab boʻlmadi: server 5xx yoki 429 statusi bilan javob berdi yoki umuman javob bermadi. RFC 9309 ga koʻra bunday holda kraulerlar butun saytni taqiqlangan deb hisoblaydi. /robots.txt oddiy matn bilan 200 statusini, qoidalaringiz boʻlmasa esa 404 ni qaytarsin.

robots.unreachable · Ustuvorlik: P1

Bu nimani anglatadi

robots.txt 403 statusi bilan javob berdi yoki javob bermadi. RFC 9309 ga koʻra bunday holda kraulerlar butun saytni taqiqlangan deb hisoblaydi.

Bu AI qidiruvi uchun nega muhim

RFC 9309 ga koʻra server xatosi tufayli robots.txt ga yeta olmagan krauler hamma narsa taqiqlangan deb hisoblashi kerak. Standartga amal qiladigan Googlebot, Bingbot va AI kraulerlari robots.txt yana javob bermaguncha sahifalarni yuklashni toʻxtatadi, shuning uchun bitta buzilgan fayl butun saytni yashirib qoʻyishi mumkin.

Fayl yoʻqligi boshqa holat: 404 yoki boshqa 4xx statusi qoidalar yoʻqligini bildiradi, demak hamma narsaga ruxsat bor va AISeeWhy hech narsa koʻrsatmaydi. Muammo faqat server xatolari, soʻrovlar limiti (429) va hech qanday status qaytmasidan oldin vaqti tugaydigan yoki rad etiladigan soʻrovlardadir.

Qanday tuzatish kerak

  1. https://your-domain/robots.txt ni tarmogʻingizdan tashqaridan oching va statusni yozib oling. Audit uni brauzer user agenti bilan yuklaydi.
  2. Agar 5xx boʻlsa, origin marshrutini tekshiring: Next.js kabi freymvorklar uni public/robots.txt yoki app/robots.ts dan beradi, WordPress esa uni dinamik yaratadi, shuning uchun PHP xatosi uni buzadi.
  3. Agar 429 yoki vaqt tugashi boʻlsa, CDN yoki WAFʼingizda /robots.txt ni rate limiting va bot challengeʼlaridan istisno qiling.
  4. Origin sekin ishlaganda ham javob berishi uchun robots.txt ni CDNʼda keshlang. AISeeWhy hisoboti dalillar va joylashtirishga tayyor tuzatishni koʻrsatadi; natijani tasdiqlash uchun keyin “Qayta tekshirish” tugmasini bosing.

Tuzatishni qanday tasdiqlash mumkin

Oʻzgarishdan keyin hisobotda “Qayta tekshirish” tugmasini bosing: u nima tuzatilgani va ball qanday oʻzgarganini koʻrsatadi.

Sahifamni tekshirish →

Tegishli qoʻllanmalar

Barcha topilmalar va ball qanday hisoblanishi