Anthropicu robotid: ClaudeBot, Claude-SearchBot ja Claude-User
Anthropic kasutab kolme agenti: ClaudeBot kogub sisu, mida võidakse kasutada tema mudelite treenimiseks, Claude-SearchBot roomab Claude'i otsingutulemuste parandamiseks ja Claude-User laadib lehti, kui Claude'i kasutaja küsimus neid vajab. Igaühel on oma robots.txt tunnus ja Anthropic ütleb, et kõik kolm järgivad robots.txt-d. Ainult ClaudeBot-i blokeerimine ei peata otsingut ega kasutajapäringuid.
Anthropic dokumenteerib oma robotid ühel abilehel ja ülesehitus peegeldab teisi AI-teenuste pakkujaid: üks agent treenimiseks, üks otsinguks ja üks otselaadimisteks kasutaja nimel. Kui soovid, et Claude saaks sinu lehti leida ja tsiteerida, on kõige olulisemad kaks viimast.
Sellel lehel
Mida ClaudeBot teeb?
ClaudeBot kogub veebisisu, mis võib aidata kaasa Anthropicu generatiivsete AI-mudelite treenimisele. Anthropicu sõnul annab selle keelamine märku, et sinu saidi tulevane sisu tuleb treeningandmekogumitest välja jätta.
Anthropic ütleb ka, et järgib IETF-i mustandil põhinevat masinloetavat AI treenimise keelu signaali ja et robots.txt reeglid, mis nimetavad ClaudeBot-i, on selle üldise seade suhtes ülimuslikud. Nagu teiste treeningrobotite puhul, on selle blokeerimine poliitika valik.
Mida Claude-SearchBot teeb?
Claude-SearchBot roomab veebi, et parandada Claude'i otsingutulemuste asjakohasust ja täpsust. Anthropic ütleb, et selle blokeerimine takistab sinu sisu indekseerimist otsingu jaoks, mis võib vähendada sinu nähtavust ja täpsust kasutajate otsingutulemustes.
See on agent, kelle peaksid lubama, kui soovid, et Claude'i otsingufunktsioonid teaksid sinu lehtedest juba enne, kui keegi nende kohta küsib. Kuna see on otsingurobot, tulevad talle kasuks samad asjad mis igale otsingurobotile: robots.txt-s loetletud saidikaart, korralikud sisemised lingid ja lehed, mis tagastavad oma sisu esimeses vastuses.
Mida Claude-User teeb?
Claude-User külastab veebisaiti, kui Claude'i kasutaja esitab küsimuse, mis seda nõuab, näiteks kui keegi jagab URL-i või palub Claude'il midagi järele vaadata. Anthropic ütleb, et selle blokeerimine takistab lehtede laadimist kasutajate päringutele vastamiseks, mis võib vähendada sinu nähtavust kasutaja suunatud veebiotsingus.
Pane tähele erinevust mõne teise pakkujaga. Anthropic ütleb, et tema robotid järgivad robots.txt juhiseid, ja kirjeldab Claude-User-i blokeerimist robots.txt kaudu. OpenAI ja Perplexity seevastu ütlevad, et nende kasutaja palutud laadijad ei pruugi robots.txt-d järgida.
Kuidas kirjutada robots.txt reegleid Claude'i jaoks?
Igal agendil on oma tunnus ja RFC 9309 järgi asendab robotit nimetav grupp selle roboti jaoks * grupi. Levinud valik on lubada otsing ja kasutajapäringud ning loobuda treenimisest:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / Anthropic toetab ka Crawl-delay-d mittestandardse laiendusena, näiteks Crawl-delay: 1 grupis User-agent: ClaudeBot, kui soovid roomamist blokeerimise asemel aeglustada. Reeglid peavad olema iga hosti juurkataloogis asuvas robots.txt-s, seega lisa need igale alamdomeenile, mida soovid hõlmata.
Kuidas Anthropicu seadistus võrdub OpenAI ja Perplexityga?
Kolm pakkujat järgivad sama mustrit eri nimedega, mis teeb ühise robots.txt üle arutlemise lihtsaks. Peamine erinevus on see, kuidas igaüks kohtleb robots.txt-d otselaadimiste puhul kasutaja palvel.
- Otsingurobot: Anthropicul
Claude-SearchBot, OpenAI-lOAI-SearchBot, PerplexitylPerplexityBot. - Treeningrobot: Anthropicul
ClaudeBot, OpenAI-lGPTBot. Perplexity ütleb, etPerplexityBot-i ei kasutata sisu roomamiseks AI alusmudelite jaoks. - Kasutajapäringud:
Claude-User,ChatGPT-UserjaPerplexity-User. Anthropic ütleb, et tema robotid järgivad robots.txt-d; OpenAI ütleb, et robots.txt ei pruugiChatGPT-User-ile kehtida; Perplexity ütleb, etPerplexity-Userüldjuhul ignoreerib seda.
Kui kirjutad kõigi kolme jaoks ühe robots.txt, pane otsingu- ja kasutajatunnused ühte gruppi ja treeningtunnused teise. Nii jääb poliitika loetavaks ja on selge, millise valiku iga eesmärgi jaoks tegid.
Kas peaksin Anthropicu IP-aadressi järgi blokeerima?
Anthropic soovitab seda mitte teha. Tema dokumentatsioon ütleb, et IP-aadresside blokeerimine ei pruugi õigesti töötada ega loobumist püsivalt tagada, sest see takistab robotil ka sinu robots.txt-d lugemast. Kasuta poliitika väljendamiseks robots.txt-d.
Anthropic avaldab oma robotite IP-aadressid aadressil claude.com/crawling/bots.json. Kasulik viis seda loendit kasutada on blokeerimise vastand: lase tulemüüril kinnitada, et päring, mis väidab end olevat Claude-SearchBot või Claude-User, tuleb tõesti Anthropicult, ja lase see läbi.
Miks võib Claude ikkagi mu lehte mitte lugeda?
Isegi lubava robots.txt korral võib sinu tulemüür või CDN vastata Anthropicu agentidele veaga 403 või kontrollilehega. Anthropic ütleb, et tema robotid austavad möödahiilimisvastaseid tehnoloogiaid ega püüa CAPTCHA-sid vältida, seega lõpetab kontrollileht külastuse lihtsalt ära. Lehed, mille tekst ilmub alles pärast JavaScripti käivitumist, võivad samuti jõuda kohale peaaegu tühjana.
AISeeWhy küsib sinu lehte ClaudeBot-ina, Claude-SearchBot-ina ja Claude-User-ina brauseri kõrval ning kontrollib igaühe jaoks sinu robots.txt reegleid, nii et näed, kas sinu kirjutatud poliitika on see, mida sinu server jõustab.
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- AI-robotite IP kontroll
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Korduma kippuvad küsimused
Kas ClaudeBot-i blokeerimine eemaldab mu saidi Claude'i vastustest?
Iseenesest mitte. Otsingu indekseerimine ja kasutaja palutud laadimised kasutavad Claude-SearchBot-i ja Claude-User-it, millel on oma robots.txt tunnused.
Kas Claude-User järgib robots.txt-d?
Anthropic ütleb, et tema robotid järgivad robots.txt-d, ja kirjeldab Claude-User-i blokeerimist seal, mille tulemusel ei saa Claude sinu lehti kasutajate küsimuste jaoks laadida.
Kas Anthropicu robotid lahendavad CAPTCHA?
Ei. Anthropic ütleb, et tema robotid austavad möödahiilimisvastaseid tehnoloogiaid ega püüa CAPTCHA-sid vältida.
Kas saan ClaudeBot-i blokeerimise asemel aeglustada?
Jah. Anthropic toetab Crawl-delay-d mittestandardse laiendusena, näiteks Crawl-delay: 1 sinu robots.txt ClaudeBot-i grupis.
Kuidas kinnitada, et päring tuleb tõesti Anthropicult?
Võrdle lähte-IP-d loendiga, mille Anthropic avaldab aadressil claude.com/crawling/bots.json. User agent'i võib igaüks kopeerida.
Allikad
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- RFC 9309: Robots Exclusion Protocol