ClaudeBot

Anthropic · Trénovanie AI

ClaudeBot je crawler Anthropic pre webový obsah, ktorý sa môže použiť na trénovanie jej modelov generatívnej AI. Zákaz v robots.txt signalizuje, že budúci obsah vášho webu sa má z trénovania vylúčiť. Samotné jeho zablokovanie nezastaví Claude-SearchBot ani Claude-User, ktoré slúžia vyhľadávaniu a živým odpovediam.

Ako ho povoliť

User-agent: ClaudeBot
Allow: /

Ako ho zablokovať

User-agent: ClaudeBot
Disallow: /

Čo robí

Anthropic uvádza, že ClaudeBot zbiera webový obsah, ktorý môže prispieť k trénovaniu jej modelov, aby boli užitočnejšie a bezpečnejšie. Zákaz ClaudeBot signalizuje, že budúce materiály vášho webu sa majú z tréningových dátových súborov vylúčiť.

Anthropic podporuje aj neštandardnú direktívu Crawl-delay, takže ClaudeBot môžete namiesto blokovania spomaliť. Pravidlá v robots.txt, ktoré menujú ClaudeBot, majú prednosť pred všeobecným signálom Anthropic o zákaze trénovania AI. Pravidlá robots.txt platia pre každého hostiteľa zvlášť, preto ich pridajte na každú subdoménu, ktorú chcete pokryť.

V našej štúdii z obdobia 2026-11 ho zablokovalo 21.2% populárnych webov s robots.txt. →

Token robots.txt

ClaudeBot

Ako overiť skutočné návštevy

Anthropic zverejňuje IP adresy svojich crawlerov na claude.com/crawling/bots.json a uvádza, že crawler, ktorého IP je v tomto zozname, pochádza od Anthropic. Porovnajte zdrojovú IP so zoznamom namiesto toho, aby ste verili user agentovi. Anthropic neodporúča odhlasovať sa blokovaním IP, pretože to crawlerovi zabráni aj v čítaní robots.txt.

Skontrolujte, či ho váš web pustí →

Crawlery Anthropic: ClaudeBot, Claude-SearchBot a Claude-User →