Claude-SearchBot

Anthropic · AI qidiruvi

Claude-SearchBot Claudeʼdagi qidiruv natijalarining dolzarbligi va aniqligini oshirish uchun internetni skanerlaydi. Anthropic aytishicha, uni bloklash kontentingiz qidiruv uchun indekslanishiga toʻsqinlik qiladi, bu esa foydalanuvchi qidiruv natijalarida koʻrinishingiz va aniqligingizni pasaytirishi mumkin. Claude sahifalaringizni topishi va ulardan iqtibos keltirishini istasangiz, unga ruxsat bering.

Unga qanday ruxsat berish mumkin

User-agent: Claude-SearchBot
Allow: /

Uni qanday bloklash mumkin

User-agent: Claude-SearchBot
Disallow: /

U nima qiladi

Anthropic Claude-SearchBotʼdan internet boʻylab harakatlanish va Claude foydalanuvchilari uchun qidiruv natijalari sifatini oshirish uchun foydalanadi. U oʻqitish krauleri ClaudeBotʼdan alohida, shuning uchun oʻqitishdan voz kechgan holda qidiruvga ruxsat berishingiz mumkin.

Anthropic aytishicha, Claude-SearchBotʼni oʻchirish kontentingiz qidiruvni optimallashtirish uchun indekslanishiga toʻsqinlik qiladi, bu esa saytingizning foydalanuvchi qidiruv natijalaridagi koʻrinishi va aniqligini pasaytirishi mumkin. Anthropic botlari robots.txt ga amal qiladi va chetlab oʻtishga qarshi choralarni hurmat qiladi, shuning uchun CAPTCHA yoki challenge sahifasi tashrifni tugatadi.

Tadqiqotimizda (2026-11) robots.txt fayli bor mashhur saytlarning 12.9% qismi uni bloklagan. →

robots.txt tokeni

Claude-SearchBot

Haqiqiy tashriflarni qanday tasdiqlash mumkin

Anthropic oʻz kraulerlarining IP manzillarini claude.com/crawling/bots.json manzilida eʼlon qiladi va IPʼsi shu roʻyxatda boʻlgan krauler Anthropicʼdan ekanini aytadi. User agentga ishonish oʻrniga manba IPʼni roʻyxat bilan solishtiring. Anthropic voz kechish uchun IP boʻyicha bloklashdan foydalanishni tavsiya etmaydi, chunki bu kraulerga robots.txt ni oʻqishga ham toʻsqinlik qiladi.

Saytingiz unga ruxsat berishini tekshiring →

Anthropic kraulerlari: ClaudeBot, Claude-SearchBot va Claude-User →