Claude-SearchBot

Anthropic · Utafutaji wa AI

Claude-SearchBot hupitia wavuti ili kuboresha umuhimu na usahihi wa matokeo ya utafutaji kwenye Claude. Anthropic inasema kuizuia kunazuia maudhui yako kuwekwa kwenye index kwa utafutaji, jambo linaloweza kupunguza kuonekana na usahihi wako kwenye matokeo ya utafutaji ya watumiaji. Iruhusu ukitaka Claude ipate na kunukuu kurasa zako.

Jinsi ya kuiruhusu

User-agent: Claude-SearchBot
Allow: /

Jinsi ya kuizuia

User-agent: Claude-SearchBot
Disallow: /

Inafanya nini

Anthropic inatumia Claude-SearchBot kupitia wavuti na kuboresha ubora wa matokeo ya utafutaji kwa watumiaji wa Claude. Ni tofauti na ClaudeBot, crawler ya mafunzo, kwa hivyo unaweza kuruhusu utafutaji huku ukijiondoa kwenye mafunzo.

Anthropic inasema kuzima Claude-SearchBot kunazuia maudhui yako kuwekwa kwenye index kwa uboreshaji wa utafutaji, jambo linaloweza kupunguza kuonekana na usahihi wa tovuti yako kwenye matokeo ya utafutaji ya watumiaji. Bot za Anthropic huheshimu robots.txt na hatua za kuzuia ukwepaji, kwa hivyo CAPTCHA au ukurasa wa changamoto humaliza ziara.

Katika utafiti wetu wa 2026-11, 12.9% ya tovuti maarufu zenye robots.txt ziliizuia. →

Tokeni ya robots.txt

Claude-SearchBot

Jinsi ya kuthibitisha ziara halisi

Anthropic inachapisha anwani za IP za crawler zake kwenye claude.com/crawling/bots.json na inasema crawler ambayo IP yake iko kwenye orodha hiyo inatoka Anthropic. Linganisha IP chanzo na orodha badala ya kuamini user agent. Anthropic inashauri kutotumia kuzuia IP ili kujiondoa, kwa sababu pia kunazuia crawler kusoma robots.txt.

Kagua kama tovuti yako inairuhusu kuingia →

Crawler za Anthropic: ClaudeBot, Claude-SearchBot na Claude-User →