ClaudeBot

Anthropic · Mafunzo ya AI

ClaudeBot ni crawler ya Anthropic kwa maudhui ya wavuti yanayoweza kutumika kufunza modeli zake za AI zalishi. Kuizuia kwenye robots.txt kunaashiria kwamba maudhui ya baadaye ya tovuti yako yaachwe nje ya mafunzo. Kuizuia peke yake hakuzuii Claude-SearchBot wala Claude-User, ambazo zinahudumia utafutaji na majibu ya moja kwa moja.

Jinsi ya kuiruhusu

User-agent: ClaudeBot
Allow: /

Jinsi ya kuizuia

User-agent: ClaudeBot
Disallow: /

Inafanya nini

Anthropic inasema ClaudeBot hukusanya maudhui ya wavuti yanayoweza kuchangia kufunza modeli zake, ili kusaidia kuboresha manufaa na usalama wake. Kuizuia ClaudeBot kunaashiria kwamba nyenzo za baadaye za tovuti yako ziachwe nje ya seti za data za mafunzo.

Anthropic pia inaunga mkono amri isiyo ya kiwango ya Crawl-delay, kwa hivyo unaweza kupunguza kasi ya ClaudeBot badala ya kuizuia. Sheria zinazotaja ClaudeBot kwenye robots.txt zinatangulia ishara ya jumla ya Anthropic ya kutofanya mafunzo ya AI. Sheria za robots.txt zinatumika kwa kila host, kwa hivyo ziongeze kwenye kila subdomain unayotaka ishughulikiwe.

Katika utafiti wetu wa 2026-11, 21.2% ya tovuti maarufu zenye robots.txt ziliizuia. →

Tokeni ya robots.txt

ClaudeBot

Jinsi ya kuthibitisha ziara halisi

Anthropic inachapisha anwani za IP za crawler zake kwenye claude.com/crawling/bots.json na inasema crawler ambayo IP yake iko kwenye orodha hiyo inatoka Anthropic. Linganisha IP chanzo na orodha badala ya kuamini user agent. Anthropic inashauri kutotumia kuzuia IP ili kujiondoa, kwa sababu pia kunazuia crawler kusoma robots.txt.

Kagua kama tovuti yako inairuhusu kuingia →

Crawler za Anthropic: ClaudeBot, Claude-SearchBot na Claude-User →