robots.txt OAI-SearchBot ni taqiqlaydi
robots.txt faylingizda shu kraulerning tokeni uchun bu sahifaga mos keladigan Disallow qoidasi bor. Audit RFC 9309 ni qoʻllaydi: agar kraulerning oʻz guruhi boʻlsa, oʻsha guruh, aks holda * guruhi olinadi va eng uzun mos qoida ustun keladi. Kraulerni kiritmoqchi boʻlsangiz, unga Allow qoʻshing yoki qoidani olib tashlang.
Bu nimani anglatadi
robots.txt qoidalaringiz OAI-SearchBot ga / ni yuklashga yoʻl qoʻymaydi.
Bu AI qidiruvi uchun nega muhim
Odobli AI kraulerlari robots.txt ga amal qiladi. Agar OAI-SearchBot, Claude-SearchBot yoki PerplexityBot taqiqlangan boʻlsa, sahifa ularning qidiruv indekslari uchun yuklanmaydi, shuning uchun ularning javoblarida undan iqtibos keltirilmaydi. GPTBot, ClaudeBot, Google-Extended yoki Applebot-Extended kabi oʻqitish tokenlarini taqiqlash faqat model oʻqitishda foydalanishni toʻxtatadi.
Koʻp saytlar AI kraulerlarini tasodifan bloklaydi: Googlebotʼdan boshqa hamma narsani taqiqlaydigan shablon yoki stagingʼdan qolib ketgan Disallow: / li User-agent: * guruhi. Eʼtibor bering: Applebotʼning oʻz guruhi boʻlmasa, u Googlebot guruhidan foydalanadi.
Qanday tuzatish kerak
- Qoidani topilmadan toping: unda krauler tokeni va yoʻl koʻrsatilgan. AISeeWhy hisoboti dalillar va joylashtirishga tayyor tuzatishni koʻrsatadi; natijani tasdiqlash uchun keyin “Qayta tekshirish” tugmasini bosing.
- Kraulerning tokenini sahifani taqiqlaydigan har qanday guruhdan olib tashlang, soʻng
Allow: /bilan uning oʻz guruhini qoʻshing. Aniq guruh shu krauler uchun*guruhining oʻrnini bosadi, shuning uchun*ostidagi qoidalar endi unga taalluqli boʻlmaydi. - WordPressʼda robots.txt veb ildizdagi haqiqiy fayl ekanini yoki Yoast yoki Rank Math kabi SEO plagini tomonidan yaratilishini tekshiring va uni oʻsha yerda tahrirlang. Shopifyʼda
robots.txt.liquidmavzu shablonini tahrirlang. - Cloudflareʼda managed robots.txt sozlamasi oʻz faylingiz ustiga AI kraulerlari qoidalarini qoʻshmayotganini tekshiring.
- Siyosatingiz shunday boʻlsa, oʻqitish tokenlarini taqiqlangan holda qoldiring; bu alohida tokenlardan foydalanadigan qidiruv kraulerlariga taʼsir qilmaydi.
Namuna
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Tuzatishni qanday tasdiqlash mumkin
Oʻzgarishdan keyin hisobotda “Qayta tekshirish” tugmasini bosing: u nima tuzatilgani va ball qanday oʻzgarganini koʻrsatadi.