ClaudeBot
ClaudeBot — Anthropicʼning generativ AI modellarini oʻqitishda foydalanilishi mumkin boʻlgan veb-kontent uchun krauleri. Uni robots.txt da taqiqlash saytingizning kelgusi kontenti oʻqitishdan chiqarib tashlanishi kerakligini bildiradi. Faqat uni bloklash qidiruv va jonli javoblarga xizmat qiladigan Claude-SearchBot yoki Claude-User ni toʻxtatmaydi.
Unga qanday ruxsat berish mumkin
User-agent: ClaudeBot
Allow: / Uni qanday bloklash mumkin
User-agent: ClaudeBot
Disallow: / U nima qiladi
Anthropic aytishicha, ClaudeBot modellarining foydaliligi va xavfsizligini oshirishga yordam berish uchun ularni oʻqitishga hissa qoʻshishi mumkin boʻlgan veb-kontentni toʻplaydi. ClaudeBotʼni taqiqlash saytingizning kelgusi materiallari oʻqitish maʼlumotlar toʻplamlaridan chiqarib tashlanishi kerakligini bildiradi.
Anthropic nostandart Crawl-delay direktivasini ham qoʻllab-quvvatlaydi, shuning uchun ClaudeBotʼni bloklash oʻrniga sekinlashtirishingiz mumkin. robots.txt dagi ClaudeBotʼni nomlaydigan qoidalar Anthropicʼning umumiy “AI oʻqitishga yoʻq” signalidan ustun turadi. robots.txt qoidalari har bir host uchun alohida amal qiladi, shuning uchun ularni qamrab olmoqchi boʻlgan har bir subdomeningizga qoʻshing.
Tadqiqotimizda (2026-11) robots.txt fayli bor mashhur saytlarning 21.2% qismi uni bloklagan. →
robots.txt tokeni
ClaudeBot
Haqiqiy tashriflarni qanday tasdiqlash mumkin
Anthropic oʻz kraulerlarining IP manzillarini claude.com/crawling/bots.json manzilida eʼlon qiladi va IPʼsi shu roʻyxatda boʻlgan krauler Anthropicʼdan ekanini aytadi. User agentga ishonish oʻrniga manba IPʼni roʻyxat bilan solishtiring. Anthropic voz kechish uchun IP boʻyicha bloklashdan foydalanishni tavsiya etmaydi, chunki bu kraulerga robots.txt ni oʻqishga ham toʻsqinlik qiladi.
Saytingiz unga ruxsat berishini tekshiring →
Anthropic kraulerlari: ClaudeBot, Claude-SearchBot va Claude-User →