ClaudeBot
ClaudeBot ir Anthropic rāpuļprogramma tīmekļa saturam, ko var izmantot tās ģeneratīvā MI modeļu apmācībai. Aizliegums robots.txt norāda, ka jūsu vietnes turpmākais saturs jāizslēdz no apmācības. Tās bloķēšana vien neaptur Claude-SearchBot vai Claude-User, kas nodrošina meklēšanu un tiešās atbildes.
Kā to atļaut
User-agent: ClaudeBot
Allow: / Kā to bloķēt
User-agent: ClaudeBot
Disallow: / Ko tā dara
Anthropic norāda, ka ClaudeBot vāc tīmekļa saturu, kas var noderēt tās modeļu apmācībā, lai uzlabotu to noderīgumu un drošību. ClaudeBot aizliegums norāda, ka jūsu vietnes turpmākie materiāli jāizslēdz no apmācības datu kopām.
Anthropic atbalsta arī nestandarta direktīvu Crawl-delay, tāpēc ClaudeBot varat palēnināt, nevis bloķēt. Noteikumi robots.txt, kas nosauc ClaudeBot, ir prioritāri pār Anthropic vispārējo signālu par atteikšanos no MI apmācības. robots.txt noteikumi darbojas katram resursdatoram atsevišķi, tāpēc pievienojiet tos katram apakšdomēnam, ko vēlaties aptvert.
Mūsu 2026-11 pētījumā 21.2% populāru vietņu ar robots.txt to bloķēja. →
robots.txt marķieris
ClaudeBot
Kā verificēt īstus apmeklējumus
Anthropic publicē savu rāpuļprogrammu IP adreses vietnē claude.com/crawling/bots.json un norāda, ka rāpuļprogramma, kuras IP ir šajā sarakstā, nāk no Anthropic. Salīdziniet avota IP ar sarakstu, nevis uzticieties user-agent. Anthropic neiesaka atteikties ar IP bloķēšanu, jo tad rāpuļprogramma nevar nolasīt arī robots.txt.
Pārbaudiet, vai jūsu vietne to ielaiž →
Anthropic rāpuļprogrammas: ClaudeBot, Claude-SearchBot un Claude-User →