AISeeWhy
FI
Aloita ilmainen kokeilu

Anthropicin crawlerit: ClaudeBot, Claude-SearchBot ja Claude-User

Julkaistu

Lyhyt vastaus

Anthropic ajaa kolmea agenttia: ClaudeBot kerää sisältöä, jota voidaan käyttää sen mallien kouluttamiseen, Claude-SearchBot käy sivustoja läpi parantaakseen Clauden hakutuloksia ja Claude-User noutaa sivuja, kun Clauden käyttäjän kysymys sitä vaatii. Jokaisella on oma robots.txt-tokeninsa, ja Anthropic sanoo kaikkien kolmen noudattavan robots.txt:ää. Pelkän ClaudeBotin estäminen ei pysäytä hakua tai käyttäjän noutoja.

Anthropic dokumentoi crawlerinsa yhdellä ohjesivulla, ja rakenne on sama kuin muilla tekoälytoimittajilla: yksi agentti koulutukseen, yksi hakuun ja yksi reaaliaikaisiin noutoihin käyttäjän puolesta. Jos haluat Clauden pystyvän löytämään ja lainaamaan sivujasi, kaksi jälkimmäistä ovat tärkeimmät.

Tällä sivulla
  1. Mitä ClaudeBot tekee
  2. Mitä Claude-SearchBot tekee
  3. Mitä Claude-User tekee
  4. Miten kirjoitan robots.txt-säännöt Claudelle
  5. Miten Anthropicin toteutus vertautuu OpenAI:hin ja Perplexityyn
  6. Pitäisikö minun estää Anthropic IP-osoitteen perusteella
  7. Miksi Claude ei silti pystyisi lukemaan sivuani

Mitä ClaudeBot tekee

ClaudeBot kerää verkkosisältöä, joka voi osallistua Anthropicin generatiivisten tekoälymallien koulutukseen. Anthropicin mukaan sen estäminen kertoo, että sivustosi tulevaa sisältöä ei pidä ottaa mukaan koulutusaineistoihin.

Anthropic sanoo myös noudattavansa IETF-luonnokseen perustuvaa koneluettavaa signaalia tekoälykoulutusta vastaan ja että säännöt, joissa ClaudeBot mainitaan robots.txt:ssä, ovat tärkeämpiä kuin tämä yleinen asetus. Kuten muidenkin koulutuscrawlerien kohdalla, sen estäminen on linjausvalinta.

Mitä Claude-SearchBot tekee

Claude-SearchBot käy verkkoa läpi parantaakseen Clauden hakutulosten osuvuutta ja tarkkuutta. Anthropic sanoo, että sen estäminen estää sisältösi indeksoinnin hakua varten, mikä voi heikentää näkyvyyttäsi ja tarkkuutta käyttäjien hakutuloksissa.

Tämä on agentti, jonka kannattaa sallia, jos haluat Clauden hakuominaisuuksien tuntevan sivusi ennen kuin kukaan kysyy niistä. Koska se on hakucrawler, siihen vaikuttavat samat asiat kuin mihin tahansa hakucrawleriin: robots.txt:ssä ilmoitettu sivukartta, siistit sisäiset linkit ja sivut, jotka palauttavat sisältönsä ensimmäisessä vastauksessa.

Mitä Claude-User tekee

Claude-User käy sivustolla, kun Clauden käyttäjä esittää kysymyksen, joka sitä vaatii, esimerkiksi kun joku jakaa URL-osoitteen tai pyytää Claudea hakemaan jotain. Anthropic sanoo, että sen estäminen estää noudon vastauksena käyttäjän kysymyksiin, mikä voi heikentää näkyvyyttäsi käyttäjän ohjaamassa verkkohaussa.

Huomaa ero joihinkin muihin toimittajiin. Anthropic toteaa botiensa noudattavan robots.txt-direktiivejä ja kuvaa Claude-Userin estämistä robots.txt:n kautta. OpenAI ja Perplexity sen sijaan sanovat, etteivät niiden käyttäjän pyytämät noutajat välttämättä noudata robots.txt:ää.

Miten kirjoitan robots.txt-säännöt Claudelle

Jokaisella agentilla on oma tokeninsa, ja crawlerin mainitseva ryhmä korvaa ryhmän * kyseiselle crawlerille RFC 9309:n mukaan. Yleinen valinta on sallia haku ja käyttäjän noudot ja kieltäytyä koulutuksesta:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic tukee myös Crawl-delayta standardista poikkeavana laajennuksena, esimerkiksi Crawl-delay: 1 rivin User-agent: ClaudeBot alla, jos haluat hidastaa läpikäyntiä estämisen sijaan. Säännöt on sijoitettava kunkin isännän ylimmän tason hakemiston robots.txt:ään, joten lisää ne jokaiselle aliverkkotunnukselle, jonka haluat kattaa.

Miten Anthropicin toteutus vertautuu OpenAI:hin ja Perplexityyn

Kolme toimittajaa noudattavat samaa mallia eri nimillä, mikä tekee yhteisestä robots.txt:stä helpon hahmottaa. Pääero on se, miten kukin kohtelee robots.txt:ää reaaliaikaisissa noudoissa käyttäjän pyynnöstä.

Jos kirjoitat yhden robots.txt:n kaikille kolmelle, laita haku- ja käyttäjätokenit yhteen ryhmään ja koulutustokenit toiseen. Se pitää linjauksen luettavana ja tekee selväksi, minkä valinnan olet tehnyt kutakin tarkoitusta varten.

Pitäisikö minun estää Anthropic IP-osoitteen perusteella

Anthropic neuvoo olemaan tekemättä niin. Sen dokumentaation mukaan IP-osoitteiden estäminen ei välttämättä toimi oikein tai takaa kieltäytymistä pysyvästi, koska se estää crawleria lukemasta myös robots.txt:äsi. Käytä robots.txt:ää linjauksesi ilmaisemiseen.

Anthropic julkaisee crawlerinsa IP-osoitteet osoitteessa claude.com/crawling/bots.json. Listan hyödyllinen käyttö on estämisen vastakohta: anna palomuurisi varmistaa, että pyyntö, joka väittää olevansa Claude-SearchBot tai Claude-User, tulee todella Anthropicilta, ja päästä se läpi.

Miksi Claude ei silti pystyisi lukemaan sivuani

Salliva robots.txt ei vielä riitä: palomuurisi tai CDN voi vastata Anthropicin agenteille 403-virheellä tai haastesivulla. Anthropic sanoo botiensa kunnioittavan kiertämisen estäviä tekniikoita eivätkä ne yritä ohittaa CAPTCHA-tarkistuksia, joten haastesivu yksinkertaisesti päättää vierailun. Sivut, joiden teksti tulee näkyviin vasta JavaScriptin ajamisen jälkeen, voivat myös saapua lähes tyhjinä.

AISeeWhy noutaa sivusi crawlereina ClaudeBot, Claude-SearchBot ja Claude-User sekä selaimena ja tarkistaa robots.txt-sääntösi kullekin, joten näet, onko kirjoittamasi linjaus se, jota palvelimesi noudattaa.

Usein kysytyt kysymykset

Poistaako ClaudeBotin estäminen sivustoni Clauden vastauksista?

Ei sellaisenaan. Hakuindeksointi ja käyttäjän pyytämät noudot käyttävät Claude-SearchBotia ja Claude-Useria, joilla on omat robots.txt-tokeninsa.

Noudattaako Claude-User robots.txt:ää?

Anthropic sanoo botiensa noudattavan robots.txt:ää ja kuvaa Claude-Userin estämistä siellä, jolloin Claude ei voi noutaa sivujasi käyttäjän kysymyksiä varten.

Ratkaisevatko Anthropicin crawlerit CAPTCHAn?

Eivät. Anthropic sanoo botiensa kunnioittavan kiertämisen estäviä tekniikoita eivätkä ne yritä ohittaa CAPTCHA-tarkistuksia.

Voinko hidastaa ClaudeBotia estämisen sijaan?

Voit. Anthropic tukee Crawl-delayta standardista poikkeavana laajennuksena, esimerkiksi Crawl-delay: 1 robots.txt:si ClaudeBot-ryhmässä.

Miten voin varmistaa, että pyyntö todella tulee Anthropicilta?

Vertaa lähde-IP-osoitetta listaan, jonka Anthropic julkaisee osoitteessa claude.com/crawling/bots.json. Pelkän user agentin voi kopioida kuka tahansa.

Lähteet

Lisää artikkeleita