ClaudeBot

Anthropic · Treniranje AI-ja

ClaudeBot je Anthropicov crawler za web-sadržaj koji se može koristiti za treniranje njegovih modela generativnog AI-ja. Zabrana u robots.txt označava da budući sadržaj vaše web-stranice treba isključiti iz treniranja. Samo njegovo blokiranje ne zaustavlja Claude-SearchBot ni Claude-User, koji služe pretraživanju i odgovorima uživo.

Kako ga dopustiti

User-agent: ClaudeBot
Allow: /

Kako ga blokirati

User-agent: ClaudeBot
Disallow: /

Što radi

Anthropic navodi da ClaudeBot prikuplja web-sadržaj koji bi mogao pridonijeti treniranju njegovih modela kako bi oni bili korisniji i sigurniji. Zabrana ClaudeBota označava da budući materijali vaše web-stranice trebaju biti isključeni iz skupova podataka za treniranje.

Anthropic podržava i nestandardnu direktivu Crawl-delay, pa ClaudeBot možete usporiti umjesto da ga blokirate. Pravila u robots.txt koja navode ClaudeBot imaju prednost pred Anthropicovim općim signalom protiv treniranja AI-ja. Pravila robots.txt vrijede po hostu, pa ih dodajte na svaku poddomenu koju želite obuhvatiti.

U našem istraživanju iz razdoblja 2026-11 blokiralo ga je 21.2% popularnih web-stranica s datotekom robots.txt. →

Token za robots.txt

ClaudeBot

Kako provjeriti stvarne posjete

Anthropic objavljuje IP adrese svojih crawlera na claude.com/crawling/bots.json i navodi da crawler čija je IP adresa na tom popisu dolazi od Anthropica. Usporedite izvornu IP adresu s popisom umjesto da vjerujete user agentu. Anthropic ne preporučuje blokiranje IP adresa kao način isključivanja jer crawler tada ne može pročitati ni robots.txt.

Provjerite propušta li ga vaša web-stranica →

Anthropicovi crawleri: ClaudeBot, Claude-SearchBot i Claude-User →