AI kraulerlari uchun robots.txt: nimaga ruxsat berish, nimani bloklash

Eʼlon qilingan

Qisqa javob

Sizga muhim boʻlgan har bir AI kraulerga alohida User-agent guruhi bering. Iqtibos keltirilishini istasangiz, OAI-SearchBot, Claude-SearchBot va PerplexityBot kabi qidiruv kraulerlariga ruxsat bering, GPTBot, ClaudeBot, Google-Extended va Applebot-Extended kabi oʻqitish tokenlari haqida esa alohida qaror qiling. Nomlangan guruh oʻsha krauler uchun * guruhini almashtiradi.

robots.txt — 1994-yildan beri mavjud boʻlgan va 2022-yilda RFC 9309 rasmiy standartiga aylangan oddiy matn fayli. AI ishlab chiquvchilarining koʻpchiligi kraulerlari unga amal qilishini aytadi, bir nechtasi esa qidiruv va oʻqitish uchun alohida tokenlarni eʼlon qiladi. Bu robots.txt ni AI siyosatini bildirishning eng oddiy joyiga aylantiradi — qoidalar siz oʻylagan maʼnoni anglatsa, albatta.

Ushbu sahifada
  1. AI kraulerlari qaysi robots.txt tokenlaridan foydalanadi?
  2. AI uchun yaxshi robots.txt qanday koʻrinadi?
  3. Kraulerlar oʻziga qaysi qoidalar tegishli ekanini qanday tanlaydi?
  4. robots.txt dagi eng keng tarqalgan xatolar qaysilar?
  5. Ruxsat va taqiqdan tashqari AI foydalanish siyosatini bildira olamanmi?
  6. Oʻzgarishlar qancha vaqt oladi va ularni qanday tekshiraman?

AI kraulerlari qaysi robots.txt tokenlaridan foydalanadi?

Quyida ishlab chiquvchilar hujjatlashtirgan tokenlar. RFC 9309 boʻyicha moslash katta-kichik harflarga bogʻliq emas.

AI uchun yaxshi robots.txt qanday koʻrinadi?

Bu misol AI qidiruvi va foydalanuvchi soʻrovlarini kiritadi, asosiy oʻqitish tokenlaridan voz kechadi va bitta yopiq boʻlimni hamma uchun yopiq saqlaydi:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Ketma-ket kelgan bir nechta User-agent qatori bitta guruh hosil qiladi, shuning uchun ularning ostidagi qoidalar har bir shu kraulerga qoʻllanadi. Agar kontentingiz oʻqitishda ishlatilishini istasangiz, ikkinchi guruhni shunchaki qoʻshmang. Google-Extendedni bloklash Google Searchʼga taʼsir qilmaydi: Google u Searchʼga kirishga taʼsir qilmasligini va reyting signali emasligini aytadi. Xuddi shunday, Apple Applebot-Extendedni taqiqlagan sahifalar baribir uning qidiruv natijalarida chiqishi mumkinligini aytadi.

Kraulerlar oʻziga qaysi qoidalar tegishli ekanini qanday tanlaydi?

RFC 9309 buni aniq belgilaydi va tafsilotlar koʻpchilik kutilmagan holatlarni tushuntiradi:

robots.txt dagi eng keng tarqalgan xatolar qaysilar?

Ruxsat va taqiqdan tashqari AI foydalanish siyosatini bildira olamanmi?

Cloudflare robots.txt uchun uchta signalli Content-Signal qatorini taklif qilgan: search (qidiruv indeksini qurish va havolalar hamda qisqa parchalarni koʻrsatish), ai-input (kontentdan AI javoblari uchun real vaqtda foydalanish) va ai-train (modellarni oʻqitish yoki fine-tuning qilish). Cloudflareʼning boshqariladigan robots.txt fayli uni siz uchun qoʻshishi mumkin.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

robots.txt dagi hamma narsa kabi bular ham texnik cheklov emas, afzallik. Cloudflareʼning oʻzi robots.txt ga amal qilish ixtiyoriy ekanini taʼkidlaydi. Bu qator ixtiyoriy va zarar keltirmaydi, lekin u yuqoridagi har bir krauler uchun guruhlarning oʻrnini bosmaydi.

Oʻzgarishlar qancha vaqt oladi va ularni qanday tekshiraman?

RFC 9309 kraulerlar keshlangan robots.txt dan 24 soatdan ortiq foydalanmasligi kerakligini aytadi, OpenAI va Perplexity esa oʻzgarishlar kuchga kirishi taxminan bir kun olishi mumkinligini aytadi. robots.txt kirishni boshqarish emasligini ham unutmang: qoidalaringiz ruxsat bergan kraulerni firewall baribir bloklashi mumkin.

AISeeWhy robots.txt faylingizni u tekshiradigan har bir krauler uchun RFC 9309 boʻyicha tahlil qiladi, ochilmaydigan yoki HTML sifatida berilgan fayllarni belgilaydi, qoidalaringiz va serveringiz qayerda bir-biriga zid kelishini koʻrsatadi va oʻzgartirish uchun tayyor diff beradi.

Bu muammo uchun tuzatishlar

Bepul asboblar

Keyingi qadamlar

Ushbu maqoladagi kraulerlar

Koʻp beriladigan savollar

GPTBot yoki ClaudeBotʼni bloklash AI javoblaridagi koʻrinishimga zarar yetkazadimi?

Bevosita emas. Ikkala ishlab chiquvchi ham qidiruv uchun alohida qidiruv kraulerlari — OAI-SearchBot va Claude-SearchBotdan foydalanadi. Oʻqitish kraulerini bloklash — siyosat tanlovi.

Google-Extended AI Overviewsʼni toʻxtatadimi?

Yoʻq. Google aytishicha, Searchʼdagi AI funksiyalari Googlebot va nosnippet hamda noindex kabi odatiy Search sozlamalaridan foydalanadi. Google-Extended boshqa Google mahsulotlarida Gemini oʻqitish va groundingʼni qamraydi va Searchʼga taʼsir qilmaydi.

AI kraulerlari Crawl-delayʼni qoʻllab-quvvatlaydimi?

U RFC 9309 ning bir qismi emas. Anthropic Crawl-delayni nostandart kengaytma sifatida qoʻllab-quvvatlashini aytadi; boshqa ishlab chiquvchilar uchun ularning hujjatlarini tekshiring.

robots.txt qayerda joylashishi kerak?

Har bir hostning ildizida, masalan https://example.com/robots.txt. Quyi papkadagi fayl eʼtiborsiz qoldiriladi va har bir subdomenga oʻz fayli kerak.

Manbalar

Boshqa maqolalar