robots.txt OAI-SearchBot ni taqiqlaydi

Qisqa javob

robots.txt faylingizda shu kraulerning tokeni uchun bu sahifaga mos keladigan Disallow qoidasi bor. Audit RFC 9309 ni qoʻllaydi: agar kraulerning oʻz guruhi boʻlsa, oʻsha guruh, aks holda * guruhi olinadi va eng uzun mos qoida ustun keladi. Kraulerni kiritmoqchi boʻlsangiz, unga Allow qoʻshing yoki qoidani olib tashlang.

robots.disallowed · Ustuvorlik: P1–P3, krauler turiga qarab

Bu nimani anglatadi

robots.txt qoidalaringiz OAI-SearchBot ga / ni yuklashga yoʻl qoʻymaydi.

Bu AI qidiruvi uchun nega muhim

Odobli AI kraulerlari robots.txt ga amal qiladi. Agar OAI-SearchBot, Claude-SearchBot yoki PerplexityBot taqiqlangan boʻlsa, sahifa ularning qidiruv indekslari uchun yuklanmaydi, shuning uchun ularning javoblarida undan iqtibos keltirilmaydi. GPTBot, ClaudeBot, Google-Extended yoki Applebot-Extended kabi oʻqitish tokenlarini taqiqlash faqat model oʻqitishda foydalanishni toʻxtatadi.

Koʻp saytlar AI kraulerlarini tasodifan bloklaydi: Googlebotʼdan boshqa hamma narsani taqiqlaydigan shablon yoki stagingʼdan qolib ketgan Disallow: / li User-agent: * guruhi. Eʼtibor bering: Applebotʼning oʻz guruhi boʻlmasa, u Googlebot guruhidan foydalanadi.

Qanday tuzatish kerak

  1. Qoidani topilmadan toping: unda krauler tokeni va yoʻl koʻrsatilgan. AISeeWhy hisoboti dalillar va joylashtirishga tayyor tuzatishni koʻrsatadi; natijani tasdiqlash uchun keyin “Qayta tekshirish” tugmasini bosing.
  2. Kraulerning tokenini sahifani taqiqlaydigan har qanday guruhdan olib tashlang, soʻng Allow: / bilan uning oʻz guruhini qoʻshing. Aniq guruh shu krauler uchun * guruhining oʻrnini bosadi, shuning uchun * ostidagi qoidalar endi unga taalluqli boʻlmaydi.
  3. WordPressʼda robots.txt veb ildizdagi haqiqiy fayl ekanini yoki Yoast yoki Rank Math kabi SEO plagini tomonidan yaratilishini tekshiring va uni oʻsha yerda tahrirlang. Shopifyʼda robots.txt.liquid mavzu shablonini tahrirlang.
  4. Cloudflareʼda managed robots.txt sozlamasi oʻz faylingiz ustiga AI kraulerlari qoidalarini qoʻshmayotganini tekshiring.
  5. Siyosatingiz shunday boʻlsa, oʻqitish tokenlarini taqiqlangan holda qoldiring; bu alohida tokenlardan foydalanadigan qidiruv kraulerlariga taʼsir qilmaydi.

Namuna

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Tuzatishni qanday tasdiqlash mumkin

Oʻzgarishdan keyin hisobotda “Qayta tekshirish” tugmasini bosing: u nima tuzatilgani va ball qanday oʻzgarganini koʻrsatadi.

Sahifamni tekshirish →

Tegishli qoʻllanmalar

Barcha topilmalar va ball qanday hisoblanishi