ClaudeBot
ClaudeBot je crawler Anthropic pre webový obsah, ktorý sa môže použiť na trénovanie jej modelov generatívnej AI. Zákaz v robots.txt signalizuje, že budúci obsah vášho webu sa má z trénovania vylúčiť. Samotné jeho zablokovanie nezastaví Claude-SearchBot ani Claude-User, ktoré slúžia vyhľadávaniu a živým odpovediam.
Ako ho povoliť
User-agent: ClaudeBot
Allow: / Ako ho zablokovať
User-agent: ClaudeBot
Disallow: / Čo robí
Anthropic uvádza, že ClaudeBot zbiera webový obsah, ktorý môže prispieť k trénovaniu jej modelov, aby boli užitočnejšie a bezpečnejšie. Zákaz ClaudeBot signalizuje, že budúce materiály vášho webu sa majú z tréningových dátových súborov vylúčiť.
Anthropic podporuje aj neštandardnú direktívu Crawl-delay, takže ClaudeBot môžete namiesto blokovania spomaliť. Pravidlá v robots.txt, ktoré menujú ClaudeBot, majú prednosť pred všeobecným signálom Anthropic o zákaze trénovania AI. Pravidlá robots.txt platia pre každého hostiteľa zvlášť, preto ich pridajte na každú subdoménu, ktorú chcete pokryť.
V našej štúdii z obdobia 2026-11 ho zablokovalo 21.2% populárnych webov s robots.txt. →
Token robots.txt
ClaudeBot
Ako overiť skutočné návštevy
Anthropic zverejňuje IP adresy svojich crawlerov na claude.com/crawling/bots.json a uvádza, že crawler, ktorého IP je v tomto zozname, pochádza od Anthropic. Porovnajte zdrojovú IP so zoznamom namiesto toho, aby ste verili user agentovi. Anthropic neodporúča odhlasovať sa blokovaním IP, pretože to crawlerovi zabráni aj v čítaní robots.txt.
Skontrolujte, či ho váš web pustí →
Crawlery Anthropic: ClaudeBot, Claude-SearchBot a Claude-User →