Crawlery Anthropic: ClaudeBot, Claude-SearchBot a Claude-User
Anthropic prevádzkuje troch agentov: ClaudeBot zbiera obsah, ktorý sa môže použiť na trénovanie jeho modelov, Claude-SearchBot prechádza web na zlepšenie výsledkov vyhľadávania Claude a Claude-User sťahuje stránky, keď ich potrebuje otázka používateľa Claude. Každý má vlastný token v robots.txt a Anthropic uvádza, že všetci traja robots.txt rešpektujú. Samotné blokovanie ClaudeBot nezastaví vyhľadávanie ani sťahovanie pre používateľov.
Anthropic dokumentuje svoje crawlery na jednej stránke pomocníka a štruktúra zodpovedá ostatným dodávateľom AI: jeden agent na trénovanie, jeden na vyhľadávanie a jeden na živé sťahovanie v mene používateľa. Ak chcete, aby Claude vaše stránky dokázal nájsť a citovať, najdôležitejšie sú posledné dva.
Na tejto stránke
Čo robí ClaudeBot?
ClaudeBot zbiera webový obsah, ktorý môže prispieť k trénovaniu modelov generatívnej AI od Anthropic. Podľa Anthropic jeho zákaz signalizuje, že budúci obsah vášho webu sa má vylúčiť z tréningových dátových súborov.
Anthropic tiež uvádza, že rešpektuje strojovo čitateľný signál zákazu AI trénovania založený na návrhu IETF a že pravidlá v robots.txt, ktoré menujú ClaudeBot, majú pred týmto všeobecným nastavením prednosť. Ako pri iných tréningových crawleroch je jeho blokovanie rozhodnutím o politike.
Čo robí Claude-SearchBot?
Claude-SearchBot prechádza web, aby zlepšil relevantnosť a presnosť výsledkov vyhľadávania v Claude. Anthropic uvádza, že jeho blokovanie zabráni indexovaniu vášho obsahu pre vyhľadávanie, čo môže znížiť vašu viditeľnosť a presnosť vo výsledkoch vyhľadávania používateľov.
Toto je agent, ktorého treba povoliť, ak chcete, aby funkcie vyhľadávania v Claude o vašich stránkach vedeli skôr, než sa na ne niekto spýta. Keďže ide o vyhľadávací crawler, pomáhajú mu tie isté veci ako každému vyhľadávaciemu crawleru: sitemapa uvedená v robots.txt, čisté interné odkazy a stránky, ktoré vrátia svoj obsah hneď v prvej odpovedi.
Čo robí Claude-User?
Claude-User navštívi web, keď používateľ Claude položí otázku, ktorá si to vyžaduje, napríklad keď niekto zdieľa URL alebo požiada Claude, aby niečo vyhľadal. Anthropic uvádza, že jeho blokovanie zabráni sťahovaniu v odpovedi na otázky používateľov, čo môže znížiť vašu viditeľnosť vo webovom vyhľadávaní na pokyn používateľa.
Všimnite si rozdiel oproti niektorým iným dodávateľom. Anthropic uvádza, že jeho boty rešpektujú direktívy robots.txt, a opisuje blokovanie Claude-User cez robots.txt. OpenAI a Perplexity naopak uvádzajú, že ich fetchery na žiadosť používateľa sa robots.txt riadiť nemusia.
Ako napísať pravidlá robots.txt pre Claude?
Každý agent má vlastný token a skupina, ktorá crawler menuje, preň podľa RFC 9309 nahrádza skupinu *. Častou voľbou je povoliť vyhľadávanie a sťahovanie pre používateľov a odmietnuť trénovanie:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / Anthropic podporuje aj Crawl-delay ako neštandardné rozšírenie, napríklad Crawl-delay: 1 pod User-agent: ClaudeBot, ak chcete prechádzanie spomaliť namiesto blokovania. Pravidlá musia byť v robots.txt v koreňovom adresári každého hostiteľa, preto ich pridajte na každú subdoménu, ktorú chcete pokryť.
Ako sa nastavenie Anthropic líši od OpenAI a Perplexity?
Všetci traja dodávatelia používajú rovnaký vzor s inými názvami, takže spoločný robots.txt sa dá ľahko premyslieť. Hlavný rozdiel je v tom, ako každý zaobchádza s robots.txt pri živom sťahovaní na žiadosť používateľa.
- Vyhľadávací crawler:
Claude-SearchBotpri Anthropic,OAI-SearchBotpri OpenAI,PerplexityBotpri Perplexity. - Tréningový crawler:
ClaudeBotpri Anthropic,GPTBotpri OpenAI. Perplexity uvádza, žePerplexityBotsa nepoužíva na prechádzanie obsahu pre základné modely AI. - Sťahovanie pre používateľov:
Claude-User,ChatGPT-UseraPerplexity-User. Anthropic uvádza, že jeho boty robots.txt rešpektujú; OpenAI uvádza, že naChatGPT-Usersa robots.txt nemusí vzťahovať; Perplexity uvádza, žePerplexity-Userho spravidla ignoruje.
Ak píšete jeden robots.txt pre všetkých troch, dajte vyhľadávacie a používateľské tokeny do jednej skupiny a tréningové do druhej. Politika tak zostane čitateľná a bude zrejmé, akú voľbu ste urobili pre každý účel.
Mám blokovať Anthropic podľa IP adresy?
Anthropic to neodporúča. Jeho dokumentácia uvádza, že blokovanie IP adries nemusí fungovať správne ani trvalo zaručiť odmietnutie, pretože crawleru zabráni aj prečítať váš robots.txt. Na vyjadrenie politiky používajte robots.txt.
Anthropic zverejňuje IP adresy svojich crawlerov na claude.com/crawling/bots.json. Užitočné použitie tohto zoznamu je opakom blokovania: nechajte firewall overiť, že požiadavka, ktorá sa vydáva za Claude-SearchBot alebo Claude-User, naozaj prichádza od Anthropic, a pustite ju.
Prečo by Claude stále nemusel prečítať moju stránku?
Aj s benevolentným robots.txt môže váš firewall alebo CDN agentom Anthropic odpovedať kódom 403 alebo overovacou stránkou. Anthropic uvádza, že jeho boty rešpektujú technológie proti obchádzaniu a nepokúsia sa obísť CAPTCHA, takže overovacia stránka návštevu jednoducho ukončí. Stránky, ktorých text sa objaví až po spustení JavaScriptu, môžu tiež doraziť takmer prázdne.
AISeeWhy stiahne vašu stránku ako ClaudeBot, Claude-SearchBot a Claude-User popri prehliadači a pre každého skontroluje pravidlá vášho robots.txt, takže vidíte, či politika, ktorú ste napísali, je tá, ktorú váš server vynucuje.
Ďalšie kroky
- robots.txt tester a kontrola pre AI crawlery
- Overenie IP AI crawlerov
- Pozrite si ukážku úplnej správy
- Monitoring AI crawlerov
- Plány a ceny
Crawlery v tomto článku
Časté otázky
Odstráni blokovanie ClaudeBot môj web z odpovedí Claude?
Samo osebe nie. Indexovanie pre vyhľadávanie a sťahovanie na žiadosť používateľa používajú Claude-SearchBot a Claude-User, ktoré majú vlastné tokeny v robots.txt.
Riadi sa Claude-User súborom robots.txt?
Anthropic uvádza, že jeho boty robots.txt rešpektujú, a opisuje blokovanie Claude-User v ňom s tým následkom, že Claude nedokáže stiahnuť vaše stránky pre otázky používateľov.
Vyriešia crawlery Anthropic CAPTCHA?
Nie. Anthropic uvádza, že jeho boty rešpektujú technológie proti obchádzaniu a nepokúsia sa CAPTCHA obísť.
Môžem ClaudeBot namiesto blokovania spomaliť?
Áno. Anthropic podporuje Crawl-delay ako neštandardné rozšírenie, napríklad Crawl-delay: 1 v skupine ClaudeBot vo vašom robots.txt.
Ako overiť, že požiadavka naozaj prichádza od Anthropic?
Porovnajte zdrojovú IP so zoznamom, ktorý Anthropic zverejňuje na claude.com/crawling/bots.json. Samotného user agenta môže skopírovať ktokoľvek.
Zdroje
- Anthropic: Prechádza Anthropic dáta z webu a ako môžu majitelia webov crawler zablokovať?
- RFC 9309: Robots Exclusion Protocol