ClaudeBot

Anthropic · MI apmācība

ClaudeBot ir Anthropic rāpuļprogramma tīmekļa saturam, ko var izmantot tās ģeneratīvā MI modeļu apmācībai. Aizliegums robots.txt norāda, ka jūsu vietnes turpmākais saturs jāizslēdz no apmācības. Tās bloķēšana vien neaptur Claude-SearchBot vai Claude-User, kas nodrošina meklēšanu un tiešās atbildes.

Kā to atļaut

User-agent: ClaudeBot
Allow: /

Kā to bloķēt

User-agent: ClaudeBot
Disallow: /

Ko tā dara

Anthropic norāda, ka ClaudeBot vāc tīmekļa saturu, kas var noderēt tās modeļu apmācībā, lai uzlabotu to noderīgumu un drošību. ClaudeBot aizliegums norāda, ka jūsu vietnes turpmākie materiāli jāizslēdz no apmācības datu kopām.

Anthropic atbalsta arī nestandarta direktīvu Crawl-delay, tāpēc ClaudeBot varat palēnināt, nevis bloķēt. Noteikumi robots.txt, kas nosauc ClaudeBot, ir prioritāri pār Anthropic vispārējo signālu par atteikšanos no MI apmācības. robots.txt noteikumi darbojas katram resursdatoram atsevišķi, tāpēc pievienojiet tos katram apakšdomēnam, ko vēlaties aptvert.

Mūsu 2026-11 pētījumā 21.2% populāru vietņu ar robots.txt to bloķēja. →

robots.txt marķieris

ClaudeBot

Kā verificēt īstus apmeklējumus

Anthropic publicē savu rāpuļprogrammu IP adreses vietnē claude.com/crawling/bots.json un norāda, ka rāpuļprogramma, kuras IP ir šajā sarakstā, nāk no Anthropic. Salīdziniet avota IP ar sarakstu, nevis uzticieties user-agent. Anthropic neiesaka atteikties ar IP bloķēšanu, jo tad rāpuļprogramma nevar nolasīt arī robots.txt.

Pārbaudiet, vai jūsu vietne to ielaiž →

Anthropic rāpuļprogrammas: ClaudeBot, Claude-SearchBot un Claude-User →