ClaudeBot
ClaudeBot je pajek Anthropic za spletno vsebino, ki se lahko uporabi za učenje njegovih generativnih modelov UI. Prepoved v robots.txt sporoči, naj bo prihodnja vsebina vašega spletnega mesta izključena iz učenja. Samo njegovo blokiranje ne ustavi Claude-SearchBot ali Claude-User, ki služita iskanju in sprotnim odgovorom.
Kako ga dovoliti
User-agent: ClaudeBot
Allow: / Kako ga blokirati
User-agent: ClaudeBot
Disallow: / Kaj počne
Anthropic navaja, da ClaudeBot zbira spletno vsebino, ki bi lahko prispevala k učenju njegovih modelov, da bi izboljšal njihovo uporabnost in varnost. Prepoved ClaudeBot sporoči, naj bodo prihodnja gradiva vašega spletnega mesta izključena iz učnih podatkovnih zbirk.
Anthropic podpira tudi nestandardno direktivo Crawl-delay, zato lahko ClaudeBot upočasnite, namesto da ga blokirate. Pravila, ki v robots.txt navajajo ClaudeBot, imajo prednost pred splošnim signalom Anthropic proti učenju UI. Pravila robots.txt veljajo za posameznega gostitelja, zato jih dodajte na vsako poddomeno, ki jo želite zajeti.
V naši raziskavi iz obdobja 2026-11 ga je blokiralo 21.2% priljubljenih spletnih mest z datoteko robots.txt. →
Oznaka v robots.txt
ClaudeBot
Kako preveriti prave obiske
Anthropic objavlja naslove IP svojih pajkov na claude.com/crawling/bots.json in navaja, da pajek, katerega IP je na tem seznamu, prihaja od Anthropic. Izvorni IP primerjajte s seznamom, namesto da zaupate user agentu. Anthropic odsvetuje blokiranje IP kot način za izključitev, ker pajku prepreči tudi branje robots.txt.
Preverite, ali ga vaše spletno mesto spusti →
Pajki Anthropic: ClaudeBot, Claude-SearchBot in Claude-User →