Anthropic kraulerlari: ClaudeBot, Claude-SearchBot va Claude-User
Anthropic uchta agentni ishlatadi: ClaudeBot uning modellarini oʻqitishda ishlatilishi mumkin boʻlgan kontentni toʻplaydi, Claude-SearchBot Claude qidiruv natijalarini yaxshilash uchun kraul qiladi, Claude-User esa Claude foydalanuvchisining savoli talab qilganda sahifalarni yuklaydi. Ularning har birining oʻz robots.txt tokeni bor va Anthropic uchalasi ham robots.txt ga amal qilishini aytadi. Faqat ClaudeBotni bloklash qidiruv va foydalanuvchi yuklashlarini toʻxtatmaydi.
Anthropic oʻz kraulerlarini bitta yordam sahifasida hujjatlashtirgan va tuzilma boshqa AI ishlab chiquvchilarinikiga oʻxshaydi: bitta agent oʻqitish uchun, bittasi qidiruv uchun va bittasi foydalanuvchi nomidan jonli yuklashlar uchun. Agar Claude sahifalaringizni topishi va ulardan iqtibos keltira olishini istasangiz, oxirgi ikkitasi eng muhim.
Ushbu sahifada
- ClaudeBot nima qiladi?
- Claude-SearchBot nima qiladi?
- Claude-User nima qiladi?
- Claude uchun robots.txt qoidalarini qanday yozaman?
- Anthropicʼning sozlamasi OpenAI va Perplexity bilan qanday solishtiriladi?
- Anthropicʼni IP manzil boʻyicha bloklashim kerakmi?
- Nega Claude baribir sahifamni oʻqiy olmasligi mumkin?
ClaudeBot nima qiladi?
ClaudeBot Anthropicʼning generativ AI modellarini oʻqitishga hissa qoʻshishi mumkin boʻlgan veb-kontentni toʻplaydi. Anthropic aytishicha, uni taqiqlash saytingizning kelajakdagi kontenti oʻqitish maʼlumotlar toʻplamlaridan chiqarilishi kerakligini bildiradi.
Anthropic shuningdek, IETF qoralamasiga asoslangan, mashina oʻqiydigan AI oʻqitishni taqiqlovchi signalga amal qilishini va robots.txt da ClaudeBotni nomlagan qoidalar bu umumiy sozlamadan ustun turishini aytadi. Boshqa oʻqitish kraulerlari kabi, uni bloklash ham siyosat tanlovi.
Claude-SearchBot nima qiladi?
Claude-SearchBot Claudeʼdagi qidiruv natijalarining dolzarbligi va aniqligini oshirish uchun vebni kraul qiladi. Anthropic aytishicha, uni bloklash kontentingizning qidiruv uchun indekslanishiga yoʻl qoʻymaydi, bu esa foydalanuvchi qidiruv natijalarida koʻrinishingiz va aniqligingizni pasaytirishi mumkin.
Agar Claude qidiruv funksiyalari hali hech kim soʻramasdan sahifalaringiz haqida bilishini istasangiz, aynan shu agentga ruxsat berish kerak. U qidiruv krauleri boʻlgani uchun har qanday qidiruv kraulerga foydali boʻlgan narsalardan foyda koʻradi: robots.txt da koʻrsatilgan sitemap, toza ichki havolalar va kontentini birinchi javobdayoq qaytaradigan sahifalar.
Claude-User nima qiladi?
Claude-User Claude foydalanuvchisi buni talab qiladigan savol berganda, masalan kimdir URL ulashganda yoki Claudeʼdan biror narsani qidirib topishni soʻraganda veb-saytga kiradi. Anthropic aytishicha, uni bloklash foydalanuvchi soʻrovlariga javoban maʼlumot olishga yoʻl qoʻymaydi, bu esa foydalanuvchi yoʻnaltirgan veb-qidiruvda koʻrinishingizni pasaytirishi mumkin.
Baʼzi boshqa ishlab chiquvchilardan bir farqiga eʼtibor bering. Anthropic oʻz botlari robots.txt koʻrsatmalariga amal qilishini aytadi va Claude-Userni robots.txt orqali bloklashni taʼriflaydi. OpenAI va Perplexity esa, aksincha, foydalanuvchi soʻragan yuklashlarni bajaruvchi agentlari robots.txt ga amal qilmasligi mumkinligini aytadi.
Claude uchun robots.txt qoidalarini qanday yozaman?
Har bir agentning oʻz tokeni bor va RFC 9309 boʻyicha kraulerni nomlagan guruh oʻsha krauler uchun * guruhini almashtiradi. Keng tarqalgan tanlov — qidiruv va foydalanuvchi yuklashlariga ruxsat berish va oʻqitishdan voz kechish:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / Anthropic Crawl-delayni ham nostandart kengaytma sifatida qoʻllab-quvvatlaydi, masalan User-agent: ClaudeBot ostida Crawl-delay: 1, agar kraulingni bloklash oʻrniga sekinlashtirmoqchi boʻlsangiz. Qoidalar har bir hostning yuqori darajali katalogidagi robots.txt da boʻlishi kerak, shuning uchun ularni qamrab olinishini istagan har bir subdomenga qoʻshing.
Anthropicʼning sozlamasi OpenAI va Perplexity bilan qanday solishtiriladi?
Uchala ishlab chiquvchi ham turli nomlar bilan bir xil sxemaga amal qiladi, bu esa umumiy robots.txt haqida fikr yuritishni osonlashtiradi. Asosiy farq — har biri foydalanuvchi soʻrovi boʻyicha jonli yuklashlar uchun robots.txt ga qanday munosabatda boʻlishi.
- Qidiruv krauleri: Anthropic uchun
Claude-SearchBot, OpenAI uchunOAI-SearchBot, Perplexity uchunPerplexityBot. - Oʻqitish krauleri: Anthropic uchun
ClaudeBot, OpenAI uchunGPTBot. PerplexityPerplexityBotAI bazaviy modellari uchun kontent kraul qilishda ishlatilmasligini aytadi. - Foydalanuvchi yuklashlari:
Claude-User,ChatGPT-UservaPerplexity-User. Anthropic oʻz botlari robots.txt ga amal qilishini aytadi; OpenAIChatGPT-Userga robots.txt qoʻllanmasligi mumkinligini aytadi; Perplexity esaPerplexity-Userodatda unga amal qilmasligini aytadi.
Agar uchalasi uchun bitta robots.txt yozsangiz, qidiruv va foydalanuvchi tokenlarini bitta guruhga, oʻqitish tokenlarini esa boshqasiga qoʻying. Bu siyosatni oʻqishli saqlaydi va har bir maqsad uchun qanday tanlov qilganingizni yaqqol koʻrsatadi.
Anthropicʼni IP manzil boʻyicha bloklashim kerakmi?
Anthropic buni tavsiya qilmaydi. Uning hujjatlarida aytilishicha, IP manzillarni bloklash toʻgʻri ishlamasligi yoki voz kechishni doimiy kafolatlamasligi mumkin, chunki u kraulerga robots.txt faylingizni oʻqishga ham imkon bermaydi. Siyosatingizni bildirish uchun robots.txt dan foydalaning.
Anthropic oʻz kraulerlarining IP manzillarini claude.com/crawling/bots.json da eʼlon qiladi. Bu roʻyxatdan foydali foydalanish usuli bloklashning aksi: firewallingizga oʻzini Claude-SearchBot yoki Claude-User deb koʻrsatgan soʻrov haqiqatan Anthropicʼdan kelayotganini tasdiqlashga va uni oʻtkazib yuborishga imkon bering.
Nega Claude baribir sahifamni oʻqiy olmasligi mumkin?
robots.txt ruxsat bergan taqdirda ham firewall yoki CDN Anthropic agentlariga 403 yoki challenge sahifasi bilan javob berishi mumkin. Anthropic aytishicha, uning botlari chetlab oʻtishga qarshi texnologiyalarni hurmat qiladi va CAPTCHAʼlarni chetlab oʻtishga urinmaydi, shuning uchun challenge sahifasi tashrifni shunchaki tugatadi. Matni faqat JavaScript ishga tushgandan keyin paydo boʻladigan sahifalar ham deyarli boʻsh kelishi mumkin.
AISeeWhy sahifangizni brauzer bilan yonma-yon ClaudeBot, Claude-SearchBot va Claude-User sifatida soʻraydi va har biri uchun robots.txt qoidalaringizni tekshiradi, shunda siz yozgan siyosat serveringiz amalda qoʻllayotgan siyosat ekanini koʻrasiz.
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- AI kraulerlari IP tekshiruvi
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Ushbu maqoladagi kraulerlar
Koʻp beriladigan savollar
ClaudeBotʼni bloklash saytimni Claude javoblaridan olib tashlaydimi?
Oʻz-oʻzidan yoʻq. Qidiruv uchun indekslash va foydalanuvchi soʻragan yuklashlar oʻz robots.txt tokenlariga ega Claude-SearchBot va Claude-Userdan foydalanadi.
Claude-User robots.txt ga amal qiladimi?
Anthropic oʻz botlari robots.txt ga amal qilishini aytadi va Claude-Userni u yerda bloklashni taʼriflaydi; natijada Claude foydalanuvchi savollari uchun sahifalaringizni ola olmaydi.
Anthropic kraulerlari CAPTCHAʼni yechadimi?
Yoʻq. Anthropic oʻz botlari chetlab oʻtishga qarshi texnologiyalarni hurmat qilishini va CAPTCHAʼlarni chetlab oʻtishga urinmasligini aytadi.
ClaudeBotʼni bloklash oʻrniga sekinlashtira olamanmi?
Ha. Anthropic Crawl-delayni nostandart kengaytma sifatida qoʻllab-quvvatlaydi, masalan robots.txt dagi ClaudeBot guruhida Crawl-delay: 1.
Soʻrov haqiqatan Anthropicʼdan kelayotganini qanday tasdiqlay olaman?
Manba IP manzilini Anthropic claude.com/crawling/bots.json da eʼlon qilgan roʻyxat bilan solishtiring. User agentning oʻzini esa har kim nusxalashi mumkin.
Manbalar
- Anthropic: Anthropic vebdan maʼlumot kraul qiladimi va sayt egalari kraulerni qanday bloklashi mumkin?
- RFC 9309: Robots Exclusion Protocol