robots.txt GPTBot ga ruxsat beradi, lekin server uni bloklaydi

Qisqa javob

robots.txt faylingiz bu kraulerga sahifani yuklashga ruxsat beradi, lekin uning user agenti bilan yuborilgan soʻrov server, CDN yoki firewall tomonidan bloklandi. Eʼlon qilingan siyosat va haqiqiy xatti-harakat bir-biriga mos kelmaydi. Firewall qoidasini robots.txt ga moslang yoki kraulerni bloklamoqchi boʻlgan boʻlsangiz, uni robots.txt da taqiqlang.

robots.access_conflict · Ustuvorlik: P1–P3, krauler turiga qarab

Bu nimani anglatadi

Qoidalaringiz GPTBot ni kiritadi, ammo uning user agenti bilan yuborilgan soʻrov bloklandi. Firewall yoki CDN siz eʼlon qilgan siyosatni bekor qilmoqda.

Bu AI qidiruvi uchun nega muhim

Kraulerlar robots.txt ni sizning siyosatingiz deb biladi. U “ha” desa-yu, server 403 qaytarsa, krauler soʻrovlarni behuda sarflaydi, keyinroq qayta urinishi mumkin, sahifa esa baribir javob tizimining indeksiga tushmaydi. Jamoalar koʻpincha robots.txt shunday deyayotgani uchun AI qidiruviga ruxsat bergan deb oʻylaydi, bot qoidasi esa uni jimgina bloklab turadi.

Tekshiruv tasdiqlanmagan IP manzildan yuboriladi. Kraulerni faqat uning eʼlon qilingan IP diapazonlaridan oʻtkazadigan qoida — bu oqilona sozlama — shuning uchun haqiqiy krauler kira olsa ham shu yerda koʻrinishi mumkin. Biror narsani oʻzgartirishdan oldin qaysi qoida ishga tushganini tekshiring.

Qanday tuzatish kerak

  1. Topilmadagi robots.txt guruhini va bloklangan soʻrov statusini solishtiring. AISeeWhy hisoboti dalillar va joylashtirishga tayyor tuzatishni koʻrsatadi; natijani tasdiqlash uchun keyin “Qayta tekshirish” tugmasini bosing.
  2. Soʻrovni bloklagan qoidani toping: Cloudflareʼda Security → Events boʻlimini hamda AI Crawl Control va Bot Fight Mode sozlamalarini tekshiring; boshqa CDNʼlarda bot management logini koʻring.
  3. Kraulerni kiritmoqchi boʻlsangiz, unga istisno qoʻshing; chetda qoldirmoqchi boʻlsangiz, siyosatingiz bir joyda yozilishi uchun uning tokeni uchun Disallow guruhini qoʻshing.

Tuzatishni qanday tasdiqlash mumkin

Oʻzgarishdan keyin hisobotda “Qayta tekshirish” tugmasini bosing: u nima tuzatilgani va ball qanday oʻzgarganini koʻrsatadi.

Sahifamni tekshirish →

Tegishli qoʻllanmalar

Barcha topilmalar va ball qanday hisoblanishi