ClaudeBot

Anthropic · Trajnim AI

ClaudeBot është zvarritësi i Anthropic për përmbajtje web që mund të përdoret për trajnimin e modeleve të saj të AI gjeneruese. Ndalimi i tij në robots.txt sinjalizon që përmbajtja e ardhshme e sajtit tuaj duhet të përjashtohet nga trajnimi. Vetëm bllokimi i tij nuk i ndalon Claude-SearchBot ose Claude-User, që shërbejnë kërkimin dhe përgjigjet në kohë reale.

Si ta lejoni

User-agent: ClaudeBot
Allow: /

Si ta bllokoni

User-agent: ClaudeBot
Disallow: /

Çfarë bën

Anthropic thotë se ClaudeBot mbledh përmbajtje web që mund të kontribuojë në trajnimin e modeleve të saj, për të ndihmuar në rritjen e dobisë dhe sigurisë së tyre. Ndalimi i ClaudeBot sinjalizon që materialet e ardhshme të sajtit tuaj duhet të përjashtohen nga grupet e të dhënave të trajnimit.

Anthropic mbështet gjithashtu direktivën jostandarde Crawl-delay, ndaj mund ta ngadalësoni ClaudeBot në vend që ta bllokoni. Rregullat që emërtojnë ClaudeBot në robots.txt kanë përparësi ndaj sinjalit të përgjithshëm të Anthropic kundër trajnimit të AI. Rregullat e robots.txt vlejnë për çdo host, ndaj shtojini në çdo nëndomen që doni të mbulohet.

Në studimin tonë të 2026-11, 21.2% e sajteve të njohura me robots.txt e bllokonin. →

Token-i në robots.txt

ClaudeBot

Si të verifikoni vizitat reale

Anthropic i publikon adresat IP të zvarritësve të saj te claude.com/crawling/bots.json dhe thotë se një zvarritës IP-ja e të cilit është në atë listë vjen nga Anthropic. Krahasoni IP-në burimore me listën në vend që t'i besoni user agent-it. Anthropic këshillon të mos përdoret bllokimi i IP-ve për refuzim, sepse ai e pengon zvarritësin edhe të lexojë robots.txt.

Kontrolloni nëse sajti juaj e lë të hyjë →

Zvarritësit e Anthropic: ClaudeBot, Claude-SearchBot dhe Claude-User →