AI kraulerlari uchun robots.txt: nimaga ruxsat berish, nimani bloklash
Sizga muhim boʻlgan har bir AI kraulerga alohida User-agent guruhi bering. Iqtibos keltirilishini istasangiz, OAI-SearchBot, Claude-SearchBot va PerplexityBot kabi qidiruv kraulerlariga ruxsat bering, GPTBot, ClaudeBot, Google-Extended va Applebot-Extended kabi oʻqitish tokenlari haqida esa alohida qaror qiling. Nomlangan guruh oʻsha krauler uchun * guruhini almashtiradi.
robots.txt — 1994-yildan beri mavjud boʻlgan va 2022-yilda RFC 9309 rasmiy standartiga aylangan oddiy matn fayli. AI ishlab chiquvchilarining koʻpchiligi kraulerlari unga amal qilishini aytadi, bir nechtasi esa qidiruv va oʻqitish uchun alohida tokenlarni eʼlon qiladi. Bu robots.txt ni AI siyosatini bildirishning eng oddiy joyiga aylantiradi — qoidalar siz oʻylagan maʼnoni anglatsa, albatta.
Ushbu sahifada
- AI kraulerlari qaysi robots.txt tokenlaridan foydalanadi?
- AI uchun yaxshi robots.txt qanday koʻrinadi?
- Kraulerlar oʻziga qaysi qoidalar tegishli ekanini qanday tanlaydi?
- robots.txt dagi eng keng tarqalgan xatolar qaysilar?
- Ruxsat va taqiqdan tashqari AI foydalanish siyosatini bildira olamanmi?
- Oʻzgarishlar qancha vaqt oladi va ularni qanday tekshiraman?
AI kraulerlari qaysi robots.txt tokenlaridan foydalanadi?
Quyida ishlab chiquvchilar hujjatlashtirgan tokenlar. RFC 9309 boʻyicha moslash katta-kichik harflarga bogʻliq emas.
- OpenAI:
OAI-SearchBot(ChatGPT qidiruvi),GPTBot(oʻqitish),ChatGPT-User(foydalanuvchi soʻragan tashriflar; OpenAI robots.txt qoʻllanmasligi mumkinligini aytadi). - Anthropic:
Claude-SearchBot(qidiruv),ClaudeBot(oʻqitish),Claude-User(foydalanuvchi soʻragan tashriflar). - Perplexity:
PerplexityBot(qidiruv),Perplexity-User(foydalanuvchi soʻragan tashriflar; Perplexity u odatda robots.txt ga amal qilmasligini aytadi). - Google:
Googlebot(Search, jumladan uning AI funksiyalari) vaGoogle-Extended— Gemini oʻqitish va groundingʼda foydalanishni boshqaradigan, oʻz krauleri boʻlmagan token. - Apple:
Applebot(Spotlight, Siri, Safari qidiruvi) va kraul qilmaydigan, lekin Appleʼning bazaviy modellarini oʻqitishda foydalanishni boshqaradiganApplebot-Extended. - Meta:
meta-externalagent(oʻqitish va mahsulotlarni indekslash) vameta-webindexer(Meta AI qidiruvi). - Common Crawl: Common Crawlʼning bepul ommaviy veb-maʼlumotlar arxivini quradigan
CCBot.
AI uchun yaxshi robots.txt qanday koʻrinadi?
Bu misol AI qidiruvi va foydalanuvchi soʻrovlarini kiritadi, asosiy oʻqitish tokenlaridan voz kechadi va bitta yopiq boʻlimni hamma uchun yopiq saqlaydi:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Ketma-ket kelgan bir nechta User-agent qatori bitta guruh hosil qiladi, shuning uchun ularning ostidagi qoidalar har bir shu kraulerga qoʻllanadi. Agar kontentingiz oʻqitishda ishlatilishini istasangiz, ikkinchi guruhni shunchaki qoʻshmang. Google-Extendedni bloklash Google Searchʼga taʼsir qilmaydi: Google u Searchʼga kirishga taʼsir qilmasligini va reyting signali emasligini aytadi. Xuddi shunday, Apple Applebot-Extendedni taqiqlagan sahifalar baribir uning qidiruv natijalarida chiqishi mumkinligini aytadi.
Kraulerlar oʻziga qaysi qoidalar tegishli ekanini qanday tanlaydi?
RFC 9309 buni aniq belgilaydi va tafsilotlar koʻpchilik kutilmagan holatlarni tushuntiradi:
- Krauler
User-agentqiymati oʻz mahsulot tokeniga katta-kichik harflarni hisobga olmasdan mos keladigan guruhni qidiradi. Agar bir nechta guruh mos kelsa, ularning qoidalari bittaga birlashtiriladi. - Faqat hech bir guruh mos kelmasagina krauler
User-agent: *guruhiga amal qiladi. Nomlangan guruh*dan hech narsa meros olmaydi. - Guruh ichida eng uzun mos keladigan yoʻlga ega qoida yutadi.
/blog/postuchunAllow: /blog/Disallow: /dan ustun keladi. - Agar
AllowvaDisallowqoidalari bir xil uzunlikda mos kelsa,Allowqoʻllanishi kerak. - Yoʻldagi
*istalgan belgilarga mos keladi,$esa oxirini belgilaydi, shuning uchunDisallow: /*.pdf$har bir PDFʼni qamraydi.
robots.txt dagi eng keng tarqalgan xatolar qaysilar?
- Nomlangan guruh
*dan meros oladi deb kutish. FaqatAllow: /borOAI-SearchBotguruhi barcha yoʻllarni, jumladan*ostida taqiqlaganlaringizni ham ochadi. - HTML sahifa qaytaradigan robots.txt manzili, koʻpincha 200 statusi bilan berilgan 404 sahifasi. Kraulerlar unda haqiqiy qoidalarni topa olmaydi.
- Server xatosini qaytaradigan robots.txt. RFC 9309 boʻyicha bunday holatda krauler butun sayt taqiqlangan deb hisoblashi kerak. 404 boshqa narsa: u hech qanday cheklov yoʻqligini bildiradi.
- Oʻqitishni bloklamoqchi boʻlib qidiruv tokenini bloklash, masalan model oʻqitishdan qochish uchun
PerplexityBotyokiClaude-SearchBotni taqiqlash. - Foydalanuvchi soʻragan yuklashlarni toʻxtatish uchun robots.txt ga tayanish. OpenAI ham, Perplexity ham ularning user agentlari unga amal qilmasligi mumkinligini aytadi.
- Subdomenlarni unutish. Har bir hostning oʻz robots.txt fayli bor; Anthropic hujjatlari sayt egalariga har bir subdomen uchun qoidalar qoʻshishni eslatadi.
Ruxsat va taqiqdan tashqari AI foydalanish siyosatini bildira olamanmi?
Cloudflare robots.txt uchun uchta signalli Content-Signal qatorini taklif qilgan: search (qidiruv indeksini qurish va havolalar hamda qisqa parchalarni koʻrsatish), ai-input (kontentdan AI javoblari uchun real vaqtda foydalanish) va ai-train (modellarni oʻqitish yoki fine-tuning qilish). Cloudflareʼning boshqariladigan robots.txt fayli uni siz uchun qoʻshishi mumkin.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / robots.txt dagi hamma narsa kabi bular ham texnik cheklov emas, afzallik. Cloudflareʼning oʻzi robots.txt ga amal qilish ixtiyoriy ekanini taʼkidlaydi. Bu qator ixtiyoriy va zarar keltirmaydi, lekin u yuqoridagi har bir krauler uchun guruhlarning oʻrnini bosmaydi.
Oʻzgarishlar qancha vaqt oladi va ularni qanday tekshiraman?
RFC 9309 kraulerlar keshlangan robots.txt dan 24 soatdan ortiq foydalanmasligi kerakligini aytadi, OpenAI va Perplexity esa oʻzgarishlar kuchga kirishi taxminan bir kun olishi mumkinligini aytadi. robots.txt kirishni boshqarish emasligini ham unutmang: qoidalaringiz ruxsat bergan kraulerni firewall baribir bloklashi mumkin.
AISeeWhy robots.txt faylingizni u tekshiradigan har bir krauler uchun RFC 9309 boʻyicha tahlil qiladi, ochilmaydigan yoki HTML sifatida berilgan fayllarni belgilaydi, qoidalaringiz va serveringiz qayerda bir-biriga zid kelishini koʻrsatadi va oʻzgartirish uchun tayyor diff beradi.
Bu muammo uchun tuzatishlar
- robots.txt GPTBot ga ruxsat beradi, lekin server uni bloklaydi
- robots.txt OAI-SearchBot ni taqiqlaydi
- robots.txt — HTML sahifa
- robots.txt da Content-Signal yoʻq
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Ushbu maqoladagi kraulerlar
Koʻp beriladigan savollar
GPTBot yoki ClaudeBotʼni bloklash AI javoblaridagi koʻrinishimga zarar yetkazadimi?
Bevosita emas. Ikkala ishlab chiquvchi ham qidiruv uchun alohida qidiruv kraulerlari — OAI-SearchBot va Claude-SearchBotdan foydalanadi. Oʻqitish kraulerini bloklash — siyosat tanlovi.
Google-Extended AI Overviewsʼni toʻxtatadimi?
Yoʻq. Google aytishicha, Searchʼdagi AI funksiyalari Googlebot va nosnippet hamda noindex kabi odatiy Search sozlamalaridan foydalanadi. Google-Extended boshqa Google mahsulotlarida Gemini oʻqitish va groundingʼni qamraydi va Searchʼga taʼsir qilmaydi.
AI kraulerlari Crawl-delayʼni qoʻllab-quvvatlaydimi?
U RFC 9309 ning bir qismi emas. Anthropic Crawl-delayni nostandart kengaytma sifatida qoʻllab-quvvatlashini aytadi; boshqa ishlab chiquvchilar uchun ularning hujjatlarini tekshiring.
robots.txt qayerda joylashishi kerak?
Har bir hostning ildizida, masalan https://example.com/robots.txt. Quyi papkadagi fayl eʼtiborsiz qoldiriladi va har bir subdomenga oʻz fayli kerak.
Manbalar
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI kraulerlari haqida umumiy maʼlumot
- Google: Umumiy kraulerlar, jumladan Google-Extended
- Apple: Applebot haqida
- Cloudflare: Boshqariladigan robots.txt va Content Signals