Anthropic robotai: ClaudeBot, Claude-SearchBot ir Claude-User
Anthropic naudoja tris agentus: ClaudeBot renka turinį, kuris gali būti naudojamas jos modeliams mokyti, Claude-SearchBot nuskaito Claude paieškos rezultatams gerinti, o Claude-User atsisiunčia puslapius, kai jų reikia Claude naudotojo klausimui. Kiekvienas turi savo robots.txt žymenį, ir Anthropic teigia, kad visi trys paiso robots.txt. Vien ClaudeBot blokavimas nesustabdo paieškos ar naudotojų užklausų.
Anthropic savo robotus dokumentuoja viename pagalbos puslapyje, o struktūra atitinka kitų DI tiekėjų: vienas agentas mokymui, vienas paieškai ir vienas atsisiuntimams realiuoju laiku naudotojo vardu. Jei norite, kad Claude galėtų rasti ir cituoti jūsų puslapius, svarbiausi yra du paskutiniai.
Šiame puslapyje
Ką daro ClaudeBot?
ClaudeBot renka žiniatinklio turinį, kuris galėtų būti naudojamas Anthropic generatyvinio DI modeliams mokyti. Anthropic teigimu, jo draudimas rodo, kad būsimas jūsų svetainės turinys turėtų būti pašalintas iš mokymo duomenų rinkinių.
Anthropic taip pat teigia, kad paiso mašininio skaitymo signalo „no-AI-training“, paremto IETF projektu, ir kad robots.txt taisyklės, įvardijančios ClaudeBot, turi pirmenybę prieš šį bendrą nustatymą. Kaip ir kitų mokymo robotų atveju, jo blokavimas yra politikos pasirinkimas.
Ką daro Claude-SearchBot?
Claude-SearchBot nuskaito internetą, kad pagerintų Claude paieškos rezultatų aktualumą ir tikslumą. Anthropic teigia, kad jo blokavimas neleidžia jūsų turinio indeksuoti paieškai, o tai gali sumažinti jūsų matomumą ir tikslumą naudotojų paieškos rezultatuose.
Būtent šį agentą reikia įleisti, jei norite, kad Claude paieškos funkcijos žinotų apie jūsų puslapius dar prieš kam nors apie juos paklausiant. Kadangi tai paieškos robotas, jam naudingi tie patys dalykai kaip bet kuriam paieškos robotui: robots.txt nurodytas sitemap, tvarkingos vidinės nuorodos ir puslapiai, grąžinantys turinį pirmajame atsakyme.
Ką daro Claude-User?
Claude-User aplanko svetainę, kai Claude naudotojas užduoda klausimą, kuriam to reikia, pvz., kai kas nors pasidalija URL arba paprašo Claude ką nors surasti. Anthropic teigia, kad jo blokavimas neleidžia atsisiųsti turinio atsakant į naudotojų užklausas, o tai gali sumažinti jūsų matomumą naudotojų inicijuotoje žiniatinklio paieškoje.
Atkreipkite dėmesį į skirtumą nuo kai kurių kitų tiekėjų. Anthropic teigia, kad jos robotai paiso robots.txt direktyvų, ir aprašo Claude-User blokavimą per robots.txt. OpenAI ir Perplexity, priešingai, teigia, kad jų naudotojų prašomi atsisiuntimo agentai gali nepaisyti robots.txt.
Kaip parašyti robots.txt taisykles Claude?
Kiekvienas agentas turi savo žymenį, o pagal RFC 9309 robotą įvardijanti grupė tam robotui pakeičia grupę *. Dažnas pasirinkimas – leisti paiešką ir naudotojų užklausas, o mokymo atsisakyti:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / Anthropic taip pat palaiko Crawl-delay kaip nestandartinį plėtinį, pvz., Crawl-delay: 1 po User-agent: ClaudeBot, jei norite nuskaitymą sulėtinti, o ne blokuoti. Taisyklės turi būti robots.txt kiekvieno pagrindinio kompiuterio aukščiausio lygio kataloge, todėl pridėkite jas kiekvienam subdomenui, kurį norite apimti.
Kuo Anthropic sprendimas skiriasi nuo OpenAI ir Perplexity?
Visi trys tiekėjai laikosi to paties modelio su skirtingais pavadinimais, todėl bendrą robots.txt lengva suprasti. Pagrindinis skirtumas – kaip kiekvienas vertina robots.txt atsisiuntimams realiuoju laiku naudotojo prašymu.
- Paieškos robotas:
Claude-SearchBot– Anthropic,OAI-SearchBot– OpenAI,PerplexityBot– Perplexity. - Mokymo robotas:
ClaudeBot– Anthropic,GPTBot– OpenAI. Perplexity teigia, kadPerplexityBotnenaudojamas turiniui DI baziniams modeliams rinkti. - Naudotojų užklausos:
Claude-User,ChatGPT-UserirPerplexity-User. Anthropic teigia, kad jos robotai paiso robots.txt; OpenAI teigia, kadChatGPT-Userrobots.txt gali negalioti; Perplexity teigia, kadPerplexity-Userpaprastai jo nepaiso.
Jei rašote vieną robots.txt visiems trims, paieškos ir naudotojų žymenis dėkite į vieną grupę, o mokymo žymenis – į kitą. Taip politika lieka aiški ir akivaizdu, ką pasirinkote kiekvienam tikslui.
Ar blokuoti Anthropic pagal IP adresą?
Anthropic to nerekomenduoja. Jos dokumentacijoje rašoma, kad IP adresų blokavimas gali neveikti tinkamai ar nuolat neužtikrinti atsisakymo, nes jis taip pat neleidžia robotui perskaityti jūsų robots.txt. Politiką išreikškite robots.txt.
Anthropic skelbia savo robotų IP adresus claude.com/crawling/bots.json. Naudingas šio sąrašo panaudojimas yra priešingas blokavimui: leiskite ugniasienei patvirtinti, kad užklausa, prisistatanti Claude-SearchBot ar Claude-User, tikrai ateina iš Anthropic, ir ją praleiskite.
Kodėl Claude vis tiek gali nepavykti perskaityti mano puslapio?
Net su leidžiančiu robots.txt jūsų ugniasienė ar CDN gali atsakyti Anthropic agentams 403 ar patikrinimo puslapiu. Anthropic teigia, kad jos robotai gerbia apėjimo prevencijos technologijas ir nebandys apeiti CAPTCHA, todėl patikrinimo puslapis tiesiog nutraukia apsilankymą. Puslapiai, kurių tekstas atsiranda tik paleidus JavaScript, taip pat gali atkeliauti beveik tušti.
AISeeWhy prašo jūsų puslapio kaip ClaudeBot, Claude-SearchBot ir Claude-User kartu su naršykle ir kiekvienam patikrina jūsų robots.txt taisykles, kad matytumėte, ar jūsų parašytą politiką serveris iš tikrųjų taiko.
Kiti žingsniai
- robots.txt testeris ir tikrinimas DI robotams
- DI robotų IP patikra
- Peržiūrėkite pilnos ataskaitos pavyzdį
- DI robotų stebėsena
- Planai ir kainos
Šiame straipsnyje minimi robotai
Dažniausiai užduodami klausimai
Ar ClaudeBot blokavimas pašalina mano svetainę iš Claude atsakymų?
Savaime – ne. Paieškos indeksavimui ir naudotojų prašomiems atsisiuntimams naudojami Claude-SearchBot ir Claude-User, turintys savo robots.txt žymenis.
Ar Claude-User paiso robots.txt?
Anthropic teigia, kad jos robotai paiso robots.txt, ir aprašo Claude-User blokavimą ten – tada Claude negali atsisiųsti jūsų puslapių naudotojų klausimams.
Ar Anthropic robotai sprendžia CAPTCHA?
Ne. Anthropic teigia, kad jos robotai gerbia apėjimo prevencijos technologijas ir nebandys apeiti CAPTCHA.
Ar galiu ClaudeBot sulėtinti, užuot blokavęs?
Taip. Anthropic palaiko Crawl-delay kaip nestandartinį plėtinį, pvz., Crawl-delay: 1 jūsų robots.txt ClaudeBot grupėje.
Kaip patvirtinti, kad užklausa tikrai ateina iš Anthropic?
Palyginkite šaltinio IP su sąrašu, kurį Anthropic skelbia claude.com/crawling/bots.json. Vien user agent gali nukopijuoti bet kas.
Šaltiniai
- Anthropic: Ar Anthropic renka duomenis iš interneto ir kaip svetainių savininkai gali užblokuoti robotą?
- RFC 9309: Robots Exclusion Protocol