ClaudeBot
ClaudeBot ni crawler ya Anthropic kwa maudhui ya wavuti yanayoweza kutumika kufunza modeli zake za AI zalishi. Kuizuia kwenye robots.txt kunaashiria kwamba maudhui ya baadaye ya tovuti yako yaachwe nje ya mafunzo. Kuizuia peke yake hakuzuii Claude-SearchBot wala Claude-User, ambazo zinahudumia utafutaji na majibu ya moja kwa moja.
Jinsi ya kuiruhusu
User-agent: ClaudeBot
Allow: / Jinsi ya kuizuia
User-agent: ClaudeBot
Disallow: / Inafanya nini
Anthropic inasema ClaudeBot hukusanya maudhui ya wavuti yanayoweza kuchangia kufunza modeli zake, ili kusaidia kuboresha manufaa na usalama wake. Kuizuia ClaudeBot kunaashiria kwamba nyenzo za baadaye za tovuti yako ziachwe nje ya seti za data za mafunzo.
Anthropic pia inaunga mkono amri isiyo ya kiwango ya Crawl-delay, kwa hivyo unaweza kupunguza kasi ya ClaudeBot badala ya kuizuia. Sheria zinazotaja ClaudeBot kwenye robots.txt zinatangulia ishara ya jumla ya Anthropic ya kutofanya mafunzo ya AI. Sheria za robots.txt zinatumika kwa kila host, kwa hivyo ziongeze kwenye kila subdomain unayotaka ishughulikiwe.
Katika utafiti wetu wa 2026-11, 21.2% ya tovuti maarufu zenye robots.txt ziliizuia. →
Tokeni ya robots.txt
ClaudeBot
Jinsi ya kuthibitisha ziara halisi
Anthropic inachapisha anwani za IP za crawler zake kwenye claude.com/crawling/bots.json na inasema crawler ambayo IP yake iko kwenye orodha hiyo inatoka Anthropic. Linganisha IP chanzo na orodha badala ya kuamini user agent. Anthropic inashauri kutotumia kuzuia IP ili kujiondoa, kwa sababu pia kunazuia crawler kusoma robots.txt.
Kagua kama tovuti yako inairuhusu kuingia →
Crawler za Anthropic: ClaudeBot, Claude-SearchBot na Claude-User →