ClaudeBot

Anthropic · Trénování AI

ClaudeBot je crawler společnosti Anthropic pro webový obsah, který může být použit k trénování jejích generativních modelů AI. Zakázáním v robots.txt dáváte najevo, že budoucí obsah vašeho webu má být z trénování vyloučen. Samotné zablokování nezastaví Claude-SearchBot ani Claude-User, které slouží vyhledávání a živým odpovědím.

Co dělá

Anthropic uvádí, že ClaudeBot shromažďuje webový obsah, který může přispět k trénování jeho modelů, aby se zvýšila jejich užitečnost a bezpečnost. Zakázání ClaudeBot dává najevo, že budoucí materiály vašeho webu mají být vyloučeny z trénovacích datových sad.

Anthropic také podporuje nestandardní direktivu Crawl-delay, takže ClaudeBot můžete místo blokování zpomalit. Pravidla v robots.txt, která ClaudeBot jmenují, mají přednost před obecným signálem Anthropic proti trénování AI. Pravidla v robots.txt platí pro každého hostitele zvlášť, přidejte je proto ke každé subdoméně, kterou chcete pokrýt.

V naší studii z období 2026-11 ho zablokovalo 21.2% oblíbených webů s robots.txt. →

Token pro robots.txt

ClaudeBot

Jak ho povolit

User-agent: ClaudeBot
Allow: /

Jak ho zablokovat

User-agent: ClaudeBot
Disallow: /

Jak ověřit skutečné návštěvy

Anthropic zveřejňuje IP adresy svých crawlerů na claude.com/crawling/bots.json a uvádí, že crawler, jehož IP je na tomto seznamu, pochází od Anthropic. Porovnejte zdrojovou IP se seznamem a nespoléhejte na user agent. Anthropic nedoporučuje k odmítnutí používat blokování IP, protože crawleru znemožní číst i robots.txt.

Zkontrolujte, zda ho váš web pouští →

Crawlery Anthropic: ClaudeBot, Claude-SearchBot a Claude-User →