Anthropic rāpuļprogrammas: ClaudeBot, Claude-SearchBot un Claude-User

Publicēts

Īsa atbilde

Anthropic izmanto trīs aģentus: ClaudeBot vāc saturu, ko var izmantot tās modeļu apmācībai, Claude-SearchBot apstaigā lapas, lai uzlabotu Claude meklēšanas rezultātus, un Claude-User ielādē lapas, kad tās vajadzīgas Claude lietotāja jautājumam. Katram ir savs robots.txt marķieris, un Anthropic norāda, ka visi trīs ievēro robots.txt. Tikai ClaudeBot bloķēšana neaptur meklēšanu vai lietotāju pieprasījumus.

Anthropic savas rāpuļprogrammas dokumentē vienā palīdzības lapā, un struktūra atgādina citus MI piegādātājus: viens aģents apmācībai, viens meklēšanai un viens tiešsaistes ielādēm lietotāja vārdā. Ja vēlaties, lai Claude varētu atrast un citēt jūsu lapas, svarīgākie ir pēdējie divi.

Šajā lapā
  1. Ko dara ClaudeBot?
  2. Ko dara Claude-SearchBot?
  3. Ko dara Claude-User?
  4. Kā uzrakstīt robots.txt kārtulas Claude?
  5. Kā Anthropic iestatījumi salīdzināmi ar OpenAI un Perplexity?
  6. Vai bloķēt Anthropic pēc IP adreses?
  7. Kāpēc Claude tomēr varētu nespēt nolasīt manu lapu?

Ko dara ClaudeBot?

ClaudeBot vāc tīmekļa saturu, kas var tikt izmantots Anthropic ģeneratīvā MI modeļu apmācībā. Saskaņā ar Anthropic tās aizliegšana signalizē, ka jūsu vietnes nākotnes saturs jāizslēdz no apmācības datu kopām.

Anthropic arī norāda, ka ievēro mašīnlasāmu signālu “bez MI apmācības”, kas balstīts uz IETF melnrakstu, un ka robots.txt kārtulām, kas nosauc ClaudeBot, ir prioritāte pār šo vispārīgo iestatījumu. Tāpat kā citu apmācības rāpuļprogrammu gadījumā, tās bloķēšana ir politikas izvēle.

Ko dara Claude-SearchBot?

Claude-SearchBot apstaigā tīmekli, lai uzlabotu Claude meklēšanas rezultātu atbilstību un precizitāti. Anthropic norāda, ka tās bloķēšana neļauj jūsu saturu indeksēt meklēšanai, kas var samazināt jūsu redzamību un precizitāti lietotāju meklēšanas rezultātos.

Šis ir aģents, kas jāatļauj, ja vēlaties, lai Claude meklēšanas funkcijas zinātu par jūsu lapām, pirms kāds par tām jautā. Tā kā tā ir meklēšanas rāpuļprogramma, tai palīdz tas pats, kas jebkurai meklēšanas rāpuļprogrammai: robots.txt norādīts sitemap, tīras iekšējās saites un lapas, kas atgriež savu saturu jau pirmajā atbildē.

Ko dara Claude-User?

Claude-User piekļūst vietnei, kad Claude lietotājs uzdod jautājumu, kam tas vajadzīgs, piemēram, kad kāds kopīgo URL vai lūdz Claude kaut ko sameklēt. Anthropic norāda, ka tās bloķēšana neļauj ielādēt saturu, atbildot uz lietotāju vaicājumiem, kas var samazināt jūsu redzamību lietotāju vadītā tīmekļa meklēšanā.

Ievērojiet atšķirību no dažiem citiem piegādātājiem. Anthropic norāda, ka tās roboti ievēro robots.txt direktīvas, un apraksta Claude-User bloķēšanu ar robots.txt. Turpretī OpenAI un Perplexity norāda, ka to lietotāju pieprasītās ielādes var neievērot robots.txt.

Kā uzrakstīt robots.txt kārtulas Claude?

Katram aģentam ir savs marķieris, un grupa, kas nosauc rāpuļprogrammu, saskaņā ar RFC 9309 šai rāpuļprogrammai aizstāj grupu *. Bieža izvēle ir atļaut meklēšanu un lietotāju pieprasījumus un atteikties no apmācības:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic atbalsta arī Crawl-delay kā nestandarta paplašinājumu, piemēram, Crawl-delay: 1 zem User-agent: ClaudeBot, ja vēlaties apstaigāšanu palēnināt, nevis bloķēt. Kārtulām jāatrodas robots.txt katra resursdatora augšējā direktorijā, tāpēc pievienojiet tās katram apakšdomēnam, ko vēlaties aptvert.

Kā Anthropic iestatījumi salīdzināmi ar OpenAI un Perplexity?

Trīs piegādātāji ievēro to pašu shēmu ar dažādiem nosaukumiem, tāpēc kopīgu robots.txt ir viegli saprast. Galvenā atšķirība ir tā, kā katrs izturas pret robots.txt tiešsaistes ielādēs pēc lietotāja pieprasījuma.

Ja rakstāt vienu robots.txt visiem trim, ievietojiet meklēšanas un lietotāju marķierus vienā grupā un apmācības marķierus citā. Tā politika paliek lasāma, un ir uzreiz skaidrs, kādu izvēli izdarījāt katram mērķim.

Vai bloķēt Anthropic pēc IP adreses?

Anthropic to neiesaka. Tās dokumentācijā teikts, ka IP adrešu bloķēšana var nedarboties pareizi vai pastāvīgi negarantēt atteikšanos, jo tā arī neļauj rāpuļprogrammai nolasīt jūsu robots.txt. Izmantojiet robots.txt, lai paustu savu politiku.

Anthropic publicē savu rāpuļprogrammu IP adreses claude.com/crawling/bots.json. Noderīgākais veids, kā izmantot šo sarakstu, ir pretējs bloķēšanai: ļaujiet ugunsmūrim pārbaudīt, vai pieprasījums, kas uzdodas par Claude-SearchBot vai Claude-User, patiešām nāk no Anthropic, un ielaidiet to.

Kāpēc Claude tomēr varētu nespēt nolasīt manu lapu?

Pat ar atļaujošu robots.txt jūsu ugunsmūris vai CDN var Anthropic aģentiem atbildēt ar 403 vai pārbaudes lapu. Anthropic norāda, ka tās roboti respektē apiešanas novēršanas tehnoloģijas un nemēģinās apiet CAPTCHA, tāpēc pārbaudes lapa vienkārši pārtrauc apmeklējumu. Arī lapas, kuru teksts parādās tikai pēc JavaScript izpildes, var pienākt gandrīz tukšas.

AISeeWhy pieprasa jūsu lapu kā ClaudeBot, Claude-SearchBot un Claude-User līdzās pārlūkam un pārbauda jūsu robots.txt kārtulas katrai, lai jūs redzētu, vai jūsu uzrakstītā politika ir tā, ko īsteno jūsu serveris.

Bezmaksas rīki

Nākamie soļi

Šajā rakstā minētās rāpuļprogrammas

Biežāk uzdotie jautājumi

Vai ClaudeBot bloķēšana izņem manu vietni no Claude atbildēm?

Pati par sevi ne. Meklēšanas indeksēšana un lietotāju pieprasītas ielādes izmanto Claude-SearchBot un Claude-User, kuriem ir savi robots.txt marķieri.

Vai Claude-User ievēro robots.txt?

Anthropic norāda, ka tās roboti ievēro robots.txt, un apraksta Claude-User bloķēšanu tajā, kā rezultātā Claude nevar ielādēt jūsu lapas lietotāju jautājumiem.

Vai Anthropic rāpuļprogrammas risinās CAPTCHA?

Nē. Anthropic norāda, ka tās roboti respektē apiešanas novēršanas tehnoloģijas un nemēģinās apiet CAPTCHA.

Vai varu ClaudeBot palēnināt, nevis bloķēt?

Jā. Anthropic atbalsta Crawl-delay kā nestandarta paplašinājumu, piemēram, Crawl-delay: 1 jūsu robots.txt grupā ClaudeBot.

Kā pārbaudīt, vai pieprasījums patiešām nāk no Anthropic?

Salīdziniet avota IP ar sarakstu, ko Anthropic publicē claude.com/crawling/bots.json. User-agent vien var nokopēt ikviens.

Avoti

Citi raksti