Zvarritësit e Anthropic: ClaudeBot, Claude-SearchBot dhe Claude-User
Anthropic ka tre agjentë: ClaudeBot mbledh përmbajtje që mund të përdoret për të trajnuar modelet e tij, Claude-SearchBot zvarrit për të përmirësuar rezultatet e kërkimit të Claude, dhe Claude-User merr faqe kur ato i duhen pyetjes së një përdoruesi të Claude. Secili ka token-in e vet në robots.txt, dhe Anthropic thotë se të tre e respektojnë robots.txt. Bllokimi vetëm i ClaudeBot nuk e ndalon kërkimin ose marrjet për përdoruesit.
Anthropic i dokumenton zvarritësit e tij në një faqe të vetme ndihme, dhe struktura pasqyron atë të ofruesve të tjerë të AI: një agjent për trajnimin, një për kërkimin dhe një për marrjet e drejtpërdrejta në emër të përdoruesit. Nëse doni që Claude të mund t'i gjejë dhe t'i citojë faqet tuaja, dy të fundit kanë më shumë rëndësi.
Në këtë faqe
Çfarë bën ClaudeBot?
ClaudeBot mbledh përmbajtje uebi që mund të kontribuojë në trajnimin e modeleve të AI gjeneruese të Anthropic. Sipas Anthropic, ndalimi i tij sinjalizon që përmbajtja e ardhshme e sajtit tuaj duhet përjashtuar nga grupet e të dhënave të trajnimit.
Anthropic thotë gjithashtu se respekton një sinjal të lexueshëm nga makina kundër trajnimit të AI, bazuar në një draft të IETF, dhe se rregullat që përmendin ClaudeBot në robots.txt kanë përparësi ndaj atij cilësimi të përgjithshëm. Si me zvarritësit e tjerë të trajnimit, bllokimi i tij është zgjedhje politike.
Çfarë bën Claude-SearchBot?
Claude-SearchBot zvarrit uebin për të përmirësuar relevancën dhe saktësinë e rezultateve të kërkimit në Claude. Anthropic thotë se bllokimi i tij e pengon indeksimin e përmbajtjes suaj për kërkim, gjë që mund të ulë dukshmërinë dhe saktësinë tuaj në rezultatet e kërkimit të përdoruesve.
Ky është agjenti që duhet lejuar nëse doni që funksionet e kërkimit të Claude t'i njohin faqet tuaja para se dikush të pyesë për to. Meqë është zvarritës kërkimi, përfiton nga të njëjtat gjëra si çdo zvarritës kërkimi: një sitemap i renditur në robots.txt, lidhje të brendshme të pastra dhe faqe që e kthejnë përmbajtjen e tyre në përgjigjen e parë.
Çfarë bën Claude-User?
Claude-User hyn në një sajt kur një përdorues i Claude bën një pyetje që e kërkon këtë, për shembull kur dikush ndan një URL ose i kërkon Claude-it të kërkojë diçka. Anthropic thotë se bllokimi i tij e pengon marrjen e faqeve në përgjigje të pyetjeve të përdoruesve, gjë që mund të ulë dukshmërinë tuaj në kërkimin në ueb të drejtuar nga përdoruesi.
Vini re një ndryshim nga disa ofrues të tjerë. Anthropic deklaron se botët e tij i respektojnë direktivat e robots.txt, dhe e përshkruan bllokimin e Claude-User përmes robots.txt. OpenAI dhe Perplexity, përkundrazi, thonë se agjentët e tyre që marrin faqe me kërkesë të përdoruesit mund të mos e ndjekin robots.txt.
Si të shkruaj rregulla robots.txt për Claude?
Çdo agjent ka token-in e vet, dhe sipas RFC 9309 një grup që përmend një zvarritës e zëvendëson grupin * për atë zvarritës. Një zgjedhje e zakonshme është të lejohen kërkimi dhe marrjet për përdoruesit dhe të refuzohet trajnimi:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / Anthropic mbështet gjithashtu Crawl-delay si zgjerim jostandard, për shembull Crawl-delay: 1 nën User-agent: ClaudeBot, nëse doni ta ngadalësoni zvarritjen në vend që ta bllokoni. Rregullat duhet të jenë në robots.txt në dosjen kryesore të çdo hosti, ndaj shtojini në çdo nëndomen që doni të mbulohet.
Si krahasohet konfigurimi i Anthropic me OpenAI dhe Perplexity?
Të tre ofruesit ndjekin të njëjtin model me emra të ndryshëm, gjë që e bën të lehtë arsyetimin për një robots.txt të përbashkët. Ndryshimi kryesor është si e trajton secili robots.txt për marrjet e drejtpërdrejta me kërkesë të përdoruesit.
- Zvarritësi i kërkimit:
Claude-SearchBotpër Anthropic,OAI-SearchBotpër OpenAI,PerplexityBotpër Perplexity. - Zvarritësi i trajnimit:
ClaudeBotpër Anthropic,GPTBotpër OpenAI. Perplexity thotë sePerplexityBotnuk përdoret për të zvarritur përmbajtje për modelet bazë të AI. - Marrjet për përdoruesit:
Claude-User,ChatGPT-UserdhePerplexity-User. Anthropic thotë se botët e tij e respektojnë robots.txt; OpenAI thotë se robots.txt mund të mos zbatohet përChatGPT-User; Perplexity thotë sePerplexity-Usernë përgjithësi e shpërfill.
Nëse shkruani një robots.txt për të tre, vendosni token-ët e kërkimit dhe të përdoruesve në një grup dhe token-ët e trajnimit në një tjetër. Kështu politika mbetet e lexueshme dhe duket qartë cilën zgjedhje bëtë për çdo qëllim.
A duhet ta bllokoj Anthropic sipas adresës IP?
Anthropic e këshillon të kundërtën. Dokumentacioni i tij thotë se bllokimi i adresave IP mund të mos funksionojë si duhet ose të mos e garantojë në mënyrë të qëndrueshme refuzimin, sepse e pengon zvarritësin edhe të lexojë robots.txt-në tuaj. Përdorni robots.txt për ta deklaruar politikën tuaj.
Anthropic i publikon adresat IP të zvarritësve të tij te claude.com/crawling/bots.json. Mënyra e dobishme për ta përdorur atë listë është e kundërta e bllokimit: lëreni firewall-in të verifikojë që një kërkesë që pretendon të jetë Claude-SearchBot ose Claude-User vjen vërtet nga Anthropic, dhe lëreni të kalojë.
Pse Claude mund të mos e lexojë ende faqen time?
Edhe me një robots.txt lejues, firewall-i ose CDN-ja juaj mund t'u përgjigjen agjentëve të Anthropic me 403 ose me një faqe sfide. Anthropic thotë se botët e tij i respektojnë teknologjitë kundër anashkalimit dhe nuk do të përpiqen të kalojnë CAPTCHA, ndaj një faqe sfide thjesht e përfundon vizitën. Faqet, teksti i të cilave shfaqet vetëm pasi ekzekutohet JavaScript, mund të mbërrijnë gjithashtu pothuajse bosh.
AISeeWhy e kërkon faqen tuaj si ClaudeBot, Claude-SearchBot dhe Claude-User krahas një shfletuesi dhe kontrollon rregullat e robots.txt për secilin, që të shihni nëse politika që shkruat është ajo që zbaton serveri juaj.
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Kontrolli i IP-së së zvarritësve AI
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Zvarritësit në këtë artikull
Pyetje të shpeshta
A e heq bllokimi i ClaudeBot sajtin tim nga përgjigjet e Claude?
Jo më vete. Indeksimi për kërkim dhe marrjet me kërkesë të përdoruesit përdorin Claude-SearchBot dhe Claude-User, që kanë token-ët e tyre në robots.txt.
A e ndjek Claude-User robots.txt?
Anthropic thotë se botët e tij e respektojnë robots.txt dhe e përshkruan bllokimin e Claude-User aty, me efektin që Claude nuk mund t'i marrë faqet tuaja për pyetjet e përdoruesve.
A do të zgjidhin zvarritësit e Anthropic një CAPTCHA?
Jo. Anthropic thotë se botët e tij i respektojnë teknologjitë kundër anashkalimit dhe nuk do të përpiqen të kalojnë CAPTCHA.
A mund ta ngadalësoj ClaudeBot në vend që ta bllokoj?
Po. Anthropic mbështet Crawl-delay si zgjerim jostandard, për shembull Crawl-delay: 1 te grupi ClaudeBot i robots.txt-së suaj.
Si ta verifikoj që një kërkesë vjen vërtet nga Anthropic?
Krahasoni IP-në e burimit me listën që Anthropic publikon te claude.com/crawling/bots.json. User agent-in vetëm mund ta kopjojë kushdo.
Burimet
- Anthropic: A zvarrit Anthropic të dhëna nga uebi dhe si mund ta bllokojnë zvarritësin pronarët e sajteve?
- RFC 9309: Robots Exclusion Protocol