Crawlery Anthropic: ClaudeBot, Claude-SearchBot a Claude-User

Publikované

Krátka odpoveď

Anthropic prevádzkuje troch agentov: ClaudeBot zbiera obsah, ktorý sa môže použiť na trénovanie jeho modelov, Claude-SearchBot prechádza web na zlepšenie výsledkov vyhľadávania Claude a Claude-User sťahuje stránky, keď ich potrebuje otázka používateľa Claude. Každý má vlastný token v robots.txt a Anthropic uvádza, že všetci traja robots.txt rešpektujú. Samotné blokovanie ClaudeBot nezastaví vyhľadávanie ani sťahovanie pre používateľov.

Anthropic dokumentuje svoje crawlery na jednej stránke pomocníka a štruktúra zodpovedá ostatným dodávateľom AI: jeden agent na trénovanie, jeden na vyhľadávanie a jeden na živé sťahovanie v mene používateľa. Ak chcete, aby Claude vaše stránky dokázal nájsť a citovať, najdôležitejšie sú posledné dva.

Na tejto stránke
  1. Čo robí ClaudeBot?
  2. Čo robí Claude-SearchBot?
  3. Čo robí Claude-User?
  4. Ako napísať pravidlá robots.txt pre Claude?
  5. Ako sa nastavenie Anthropic líši od OpenAI a Perplexity?
  6. Mám blokovať Anthropic podľa IP adresy?
  7. Prečo by Claude stále nemusel prečítať moju stránku?

Čo robí ClaudeBot?

ClaudeBot zbiera webový obsah, ktorý môže prispieť k trénovaniu modelov generatívnej AI od Anthropic. Podľa Anthropic jeho zákaz signalizuje, že budúci obsah vášho webu sa má vylúčiť z tréningových dátových súborov.

Anthropic tiež uvádza, že rešpektuje strojovo čitateľný signál zákazu AI trénovania založený na návrhu IETF a že pravidlá v robots.txt, ktoré menujú ClaudeBot, majú pred týmto všeobecným nastavením prednosť. Ako pri iných tréningových crawleroch je jeho blokovanie rozhodnutím o politike.

Čo robí Claude-SearchBot?

Claude-SearchBot prechádza web, aby zlepšil relevantnosť a presnosť výsledkov vyhľadávania v Claude. Anthropic uvádza, že jeho blokovanie zabráni indexovaniu vášho obsahu pre vyhľadávanie, čo môže znížiť vašu viditeľnosť a presnosť vo výsledkoch vyhľadávania používateľov.

Toto je agent, ktorého treba povoliť, ak chcete, aby funkcie vyhľadávania v Claude o vašich stránkach vedeli skôr, než sa na ne niekto spýta. Keďže ide o vyhľadávací crawler, pomáhajú mu tie isté veci ako každému vyhľadávaciemu crawleru: sitemapa uvedená v robots.txt, čisté interné odkazy a stránky, ktoré vrátia svoj obsah hneď v prvej odpovedi.

Čo robí Claude-User?

Claude-User navštívi web, keď používateľ Claude položí otázku, ktorá si to vyžaduje, napríklad keď niekto zdieľa URL alebo požiada Claude, aby niečo vyhľadal. Anthropic uvádza, že jeho blokovanie zabráni sťahovaniu v odpovedi na otázky používateľov, čo môže znížiť vašu viditeľnosť vo webovom vyhľadávaní na pokyn používateľa.

Všimnite si rozdiel oproti niektorým iným dodávateľom. Anthropic uvádza, že jeho boty rešpektujú direktívy robots.txt, a opisuje blokovanie Claude-User cez robots.txt. OpenAI a Perplexity naopak uvádzajú, že ich fetchery na žiadosť používateľa sa robots.txt riadiť nemusia.

Ako napísať pravidlá robots.txt pre Claude?

Každý agent má vlastný token a skupina, ktorá crawler menuje, preň podľa RFC 9309 nahrádza skupinu *. Častou voľbou je povoliť vyhľadávanie a sťahovanie pre používateľov a odmietnuť trénovanie:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic podporuje aj Crawl-delay ako neštandardné rozšírenie, napríklad Crawl-delay: 1 pod User-agent: ClaudeBot, ak chcete prechádzanie spomaliť namiesto blokovania. Pravidlá musia byť v robots.txt v koreňovom adresári každého hostiteľa, preto ich pridajte na každú subdoménu, ktorú chcete pokryť.

Ako sa nastavenie Anthropic líši od OpenAI a Perplexity?

Všetci traja dodávatelia používajú rovnaký vzor s inými názvami, takže spoločný robots.txt sa dá ľahko premyslieť. Hlavný rozdiel je v tom, ako každý zaobchádza s robots.txt pri živom sťahovaní na žiadosť používateľa.

Ak píšete jeden robots.txt pre všetkých troch, dajte vyhľadávacie a používateľské tokeny do jednej skupiny a tréningové do druhej. Politika tak zostane čitateľná a bude zrejmé, akú voľbu ste urobili pre každý účel.

Mám blokovať Anthropic podľa IP adresy?

Anthropic to neodporúča. Jeho dokumentácia uvádza, že blokovanie IP adries nemusí fungovať správne ani trvalo zaručiť odmietnutie, pretože crawleru zabráni aj prečítať váš robots.txt. Na vyjadrenie politiky používajte robots.txt.

Anthropic zverejňuje IP adresy svojich crawlerov na claude.com/crawling/bots.json. Užitočné použitie tohto zoznamu je opakom blokovania: nechajte firewall overiť, že požiadavka, ktorá sa vydáva za Claude-SearchBot alebo Claude-User, naozaj prichádza od Anthropic, a pustite ju.

Prečo by Claude stále nemusel prečítať moju stránku?

Aj s benevolentným robots.txt môže váš firewall alebo CDN agentom Anthropic odpovedať kódom 403 alebo overovacou stránkou. Anthropic uvádza, že jeho boty rešpektujú technológie proti obchádzaniu a nepokúsia sa obísť CAPTCHA, takže overovacia stránka návštevu jednoducho ukončí. Stránky, ktorých text sa objaví až po spustení JavaScriptu, môžu tiež doraziť takmer prázdne.

AISeeWhy stiahne vašu stránku ako ClaudeBot, Claude-SearchBot a Claude-User popri prehliadači a pre každého skontroluje pravidlá vášho robots.txt, takže vidíte, či politika, ktorú ste napísali, je tá, ktorú váš server vynucuje.

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Časté otázky

Odstráni blokovanie ClaudeBot môj web z odpovedí Claude?

Samo osebe nie. Indexovanie pre vyhľadávanie a sťahovanie na žiadosť používateľa používajú Claude-SearchBot a Claude-User, ktoré majú vlastné tokeny v robots.txt.

Riadi sa Claude-User súborom robots.txt?

Anthropic uvádza, že jeho boty robots.txt rešpektujú, a opisuje blokovanie Claude-User v ňom s tým následkom, že Claude nedokáže stiahnuť vaše stránky pre otázky používateľov.

Vyriešia crawlery Anthropic CAPTCHA?

Nie. Anthropic uvádza, že jeho boty rešpektujú technológie proti obchádzaniu a nepokúsia sa CAPTCHA obísť.

Môžem ClaudeBot namiesto blokovania spomaliť?

Áno. Anthropic podporuje Crawl-delay ako neštandardné rozšírenie, napríklad Crawl-delay: 1 v skupine ClaudeBot vo vašom robots.txt.

Ako overiť, že požiadavka naozaj prichádza od Anthropic?

Porovnajte zdrojovú IP so zoznamom, ktorý Anthropic zverejňuje na claude.com/crawling/bots.json. Samotného user agenta môže skopírovať ktokoľvek.

Zdroje

Ďalšie články