Pajki Anthropic: ClaudeBot, Claude-SearchBot in Claude-User
Anthropic uporablja tri agente: ClaudeBot zbira vsebino, ki se lahko uporabi za učenje njegovih modelov, Claude-SearchBot pajka za izboljšavo rezultatov iskanja Claude, Claude-User pa prenaša strani, ko jih potrebuje vprašanje uporabnika Claude. Vsak ima svoj žeton robots.txt, Anthropic pa pravi, da vsi trije upoštevajo robots.txt. Samo blokiranje ClaudeBot ne ustavi iskanja ali prenosov za uporabnike.
Anthropic svoje pajke dokumentira na eni strani pomoči, struktura pa je enaka kot pri drugih ponudnikih UI: en agent za učenje, eden za iskanje in eden za prenose v živo v imenu uporabnika. Če želite, da Claude lahko najde in citira vaše strani, sta najpomembnejša zadnja dva.
Na tej strani
Kaj počne ClaudeBot?
ClaudeBot zbira spletno vsebino, ki bi lahko prispevala k učenju Anthropicovih modelov generativne UI. Po Anthropicovih besedah njegova prepoved sporoči, da naj bo prihodnja vsebina vašega mesta izključena iz naborov podatkov za učenje.
Anthropic pravi tudi, da upošteva strojno berljiv signal proti učenju UI, ki temelji na osnutku IETF, in da imajo pravila v robots.txt, ki navajajo ClaudeBot, prednost pred to splošno nastavitvijo. Kot pri drugih pajkih za učenje je njegovo blokiranje odločitev politike.
Kaj počne Claude-SearchBot?
Claude-SearchBot pajka splet, da izboljša relevantnost in točnost rezultatov iskanja v Claude. Anthropic pravi, da njegovo blokiranje prepreči indeksiranje vaše vsebine za iskanje, kar lahko zmanjša vašo vidnost in točnost v rezultatih iskanja uporabnikov.
To je agent, ki ga dovolite, če želite, da funkcije iskanja Claude za vaše strani vedo, še preden kdo vpraša o njih. Ker je pajek za iskanje, mu koristi isto kot vsakemu pajku za iskanje: zemljevid strani, naveden v robots.txt, čiste notranje povezave in strani, ki vsebino vrnejo že v prvem odgovoru.
Kaj počne Claude-User?
Claude-User dostopa do spletnega mesta, ko uporabnik Claude postavi vprašanje, ki to zahteva, na primer ko nekdo deli URL ali Claude prosi, naj nekaj poišče. Anthropic pravi, da njegovo blokiranje prepreči pridobivanje kot odgovor na poizvedbe uporabnikov, kar lahko zmanjša vašo vidnost v spletnem iskanju, ki ga usmerjajo uporabniki.
Upoštevajte razliko od nekaterih drugih ponudnikov. Anthropic navaja, da njegovi boti upoštevajo direktive robots.txt, in opisuje blokiranje Claude-User prek robots.txt. OpenAI in Perplexity pa nasprotno pravita, da njuni uporabniški pajki robots.txt morda ne sledijo.
Kako napišem pravila robots.txt za Claude?
Vsak agent ima svoj žeton, skupina, ki navaja pajka, pa po RFC 9309 za tega pajka nadomesti skupino *. Pogosta izbira je dovoliti iskanje in uporabniške prenose ter zavrniti učenje:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / Anthropic kot nestandardno razširitev podpira tudi Crawl-delay, na primer Crawl-delay: 1 pod User-agent: ClaudeBot, če želite pajkanje upočasniti namesto blokirati. Pravila morajo biti v robots.txt v korenskem imeniku vsakega gostitelja, zato jih dodajte na vsako poddomeno, ki jo želite zajeti.
Kako se Anthropicova ureditev primerja z OpenAI in Perplexityjem?
Vsi trije ponudniki sledijo istemu vzorcu z različnimi imeni, zato je o skupnem robots.txt lahko razmišljati. Glavna razlika je, kako vsak obravnava robots.txt pri prenosih v živo na zahtevo uporabnika.
- Pajek za iskanje:
Claude-SearchBotpri Anthropicu,OAI-SearchBotpri OpenAI,PerplexityBotpri Perplexityju. - Pajek za učenje:
ClaudeBotpri Anthropicu,GPTBotpri OpenAI. Perplexity pravi, da sePerplexityBotne uporablja za pajkanje vsebine za temeljne modele UI. - Uporabniški prenosi:
Claude-User,ChatGPT-UserinPerplexity-User. Anthropic pravi, da njegovi boti upoštevajo robots.txt; OpenAI pravi, da robots.txt zaChatGPT-Usermorda ne velja; Perplexity pravi, da gaPerplexity-Userna splošno ne upošteva.
Če pišete en robots.txt za vse tri, žetone za iskanje in uporabnike postavite v eno skupino, žetone za učenje pa v drugo. Tako politika ostane berljiva in je jasno, kakšno odločitev ste sprejeli za vsak namen.
Ali naj Anthropic blokiram po naslovu IP?
Anthropic to odsvetuje. Njegova dokumentacija pravi, da blokiranje naslovov IP morda ne deluje pravilno ali trajno ne zagotavlja zavrnitve, ker pajku prepreči tudi branje vašega robots.txt. Za izražanje politike uporabite robots.txt.
Anthropic naslove IP svojih pajkov objavlja na claude.com/crawling/bots.json. Koristna uporaba tega seznama je nasprotje blokiranja: naj vaš požarni zid preveri, ali zahteva, ki se predstavlja kot Claude-SearchBot ali Claude-User, res prihaja od Anthropica, in jo spusti skozi.
Zakaj Claude moje strani morda še vedno ne prebere?
Tudi pri dovoljujočem robots.txt lahko vaš požarni zid ali CDN Anthropicovim agentom odgovori z napako 403 ali s stranjo z izzivom. Anthropic pravi, da njegovi boti spoštujejo tehnologije proti izogibanju zaščiti in ne bodo poskušali obiti CAPTCHA, zato stran z izzivom obisk preprosto konča. Tudi strani, katerih besedilo se pojavi šele po zagonu JavaScripta, lahko prispejo skoraj prazne.
AISeeWhy vašo stran zahteva kot ClaudeBot, Claude-SearchBot in Claude-User poleg brskalnika in za vsakega preveri vaša pravila robots.txt, tako da vidite, ali vaš strežnik uveljavlja politiko, ki ste jo napisali.
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Preverjanje IP pajkov UI
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Ali blokiranje ClaudeBot odstrani moje mesto iz odgovorov Claude?
Samo po sebi ne. Indeksiranje za iskanje in prenosi na zahtevo uporabnikov uporabljajo Claude-SearchBot in Claude-User, ki imata svoja žetona robots.txt.
Ali Claude-User upošteva robots.txt?
Anthropic pravi, da njegovi boti upoštevajo robots.txt, in opisuje blokiranje Claude-User tam, s posledico, da Claude vaših strani ne more pridobiti za vprašanja uporabnikov.
Ali bodo Anthropicovi pajki rešili CAPTCHA?
Ne. Anthropic pravi, da njegovi boti spoštujejo tehnologije proti izogibanju zaščiti in ne bodo poskušali obiti CAPTCHA.
Ali lahko ClaudeBot upočasnim namesto blokiram?
Da. Anthropic kot nestandardno razširitev podpira Crawl-delay, na primer Crawl-delay: 1 v skupini ClaudeBot v vašem robots.txt.
Kako preverim, ali zahteva res prihaja od Anthropica?
Izvorni naslov IP primerjajte s seznamom, ki ga Anthropic objavlja na claude.com/crawling/bots.json. Sam user agent lahko kopira kdor koli.
Viri
- Anthropic: Ali Anthropic pajka podatke s spleta in kako lahko lastniki spletnih mest pajka blokirajo?
- RFC 9309: Robots Exclusion Protocol