ClaudeBot
ClaudeBot on Anthropicin robotti verkkosisällölle, jota voidaan käyttää sen generatiivisen tekoälyn mallien kouluttamiseen. Kun estät sen robots.txt-tiedostossa, ilmaiset, että sivustosi tulevat sisällöt tulee jättää koulutuksen ulkopuolelle. Pelkkä sen estäminen ei pysäytä Claude-SearchBotia eikä Claude-Useria, jotka palvelevat hakua ja reaaliaikaisia vastauksia.
Mitä se tekee
Anthropic kertoo, että ClaudeBot kerää verkkosisältöä, joka voi osallistua sen mallien koulutukseen niiden hyödyllisyyden ja turvallisuuden parantamiseksi. ClaudeBotin estäminen ilmaisee, että sivustosi tulevat materiaalit tulee jättää koulutusaineistojen ulkopuolelle.
Anthropic tukee myös ei-standardia Crawl-delay-direktiiviä, joten ClaudeBotia voi hidastaa estämisen sijaan. ClaudeBotin nimeävät robots.txt-säännöt ovat etusijalla Anthropicin yleiseen tekoälykoulutuksen kieltävään signaaliin nähden. Robots.txt-säännöt koskevat yhtä isäntää, joten lisää ne jokaiselle aliverkkotunnukselle, jonka haluat kattaa.
2026-11 tekemässämme tutkimuksessa 21.2% suosituista sivustoista, joilla on robots.txt, esti sen. →
robots.txt-tunnus
ClaudeBot
Miten sen sallii
User-agent: ClaudeBot
Allow: /Miten sen estää
User-agent: ClaudeBot
Disallow: /Miten aidot käynnit varmistetaan
Anthropic julkaisee robottiensa IP-osoitteet osoitteessa claude.com/crawling/bots.json ja kertoo, että robotti, jonka IP on tässä luettelossa, on Anthropicin. Vertaa lähde-IP:tä luetteloon äläkä luota user agentiin. Anthropic ei suosittele IP-estoa kieltäytymiseen, koska se estää robottia myös lukemasta robots.txt-tiedostoa.
Tarkista, päästääkö sivustosi sen sisään →
Anthropicin crawlerit: ClaudeBot, Claude-SearchBot ja Claude-User →