Crawler za Anthropic: ClaudeBot, Claude-SearchBot na Claude-User

Imechapishwa

Jibu fupi

Anthropic huendesha mawakala watatu: ClaudeBot hukusanya maudhui ambayo yanaweza kutumika kufunza miundo yake, Claude-SearchBot hupitia kurasa ili kuboresha matokeo ya utafutaji ya Claude, na Claude-User hupakua kurasa swali la mtumiaji wa Claude linapozihitaji. Kila mmoja ana tokeni yake ya robots.txt, na Anthropic inasema wote watatu huheshimu robots.txt. Kuzuia ClaudeBot pekee hakusimamishi utafutaji wala upakuaji kwa watumiaji.

Anthropic inaeleza crawler zake kwenye ukurasa mmoja wa msaada, na muundo wake unafanana na wa watoa huduma wengine wa AI: wakala mmoja kwa mafunzo, mmoja kwa utafutaji na mmoja kwa upakuaji wa moja kwa moja kwa niaba ya mtumiaji. Ukitaka Claude iweze kupata na kunukuu kurasa zako, hao wawili wa mwisho ndio muhimu zaidi.

Kwenye ukurasa huu
  1. ClaudeBot hufanya nini?
  2. Claude-SearchBot hufanya nini?
  3. Claude-User hufanya nini?
  4. Ninaandikaje sheria za robots.txt kwa Claude?
  5. Mpangilio wa Anthropic unalinganishwaje na wa OpenAI na Perplexity?
  6. Je, nizuie Anthropic kwa anwani ya IP?
  7. Kwa nini Claude bado ishindwe kusoma ukurasa wangu?

ClaudeBot hufanya nini?

ClaudeBot hukusanya maudhui ya wavuti ambayo yanaweza kuchangia kufunza miundo ya AI zalishi ya Anthropic. Kwa mujibu wa Anthropic, kuizuia kunaashiria kwamba maudhui ya baadaye ya tovuti yako yanapaswa kuondolewa kwenye seti za data za mafunzo.

Anthropic pia inasema inaheshimu ishara inayosomeka na mashine ya kutofunza AI inayotokana na rasimu ya IETF, na kwamba sheria zinazotaja ClaudeBot kwenye robots.txt zina kipaumbele juu ya mpangilio huo wa jumla. Kama ilivyo kwa crawler nyingine za mafunzo, kuizuia ni chaguo la sera.

Claude-SearchBot hufanya nini?

Claude-SearchBot hupitia wavuti ili kuboresha umuhimu na usahihi wa matokeo ya utafutaji katika Claude. Anthropic inasema kuizuia huzuia maudhui yako kuorodheshwa kwa ajili ya utafutaji, jambo ambalo linaweza kupunguza kuonekana kwako na usahihi katika matokeo ya utafutaji ya watumiaji.

Huyu ndiye wakala wa kuruhusu ukitaka vipengele vya utafutaji vya Claude vizijue kurasa zako kabla mtu yeyote hajauliza kuzihusu. Kwa kuwa ni crawler ya utafutaji, inanufaika na mambo yaleyale kama crawler yoyote ya utafutaji: sitemap iliyoorodheshwa kwenye robots.txt, viungo vya ndani vilivyo safi, na kurasa zinazorudisha maudhui yake katika jibu la kwanza.

Claude-User hufanya nini?

Claude-User hufikia tovuti mtumiaji wa Claude anapouliza swali linalohitaji hivyo, kwa mfano mtu anaposhiriki URL au kuiomba Claude itafute kitu. Anthropic inasema kuizuia huzuia upatikanaji wa ukurasa katika kujibu maswali ya watumiaji, jambo ambalo linaweza kupunguza kuonekana kwako katika utafutaji wa wavuti unaoongozwa na watumiaji.

Zingatia tofauti na baadhi ya watoa huduma wengine. Anthropic inasema bot zake huheshimu maagizo ya robots.txt, na inaeleza kuzuia Claude-User kupitia robots.txt. OpenAI na Perplexity, kwa upande mwingine, zinasema wapakuaji wao wanaoombwa na watumiaji huenda wasifuate robots.txt.

Ninaandikaje sheria za robots.txt kwa Claude?

Kila wakala ana tokeni yake, na kundi linalotaja crawler huchukua nafasi ya kundi la * kwa crawler hiyo kwa mujibu wa RFC 9309. Chaguo la kawaida ni kuruhusu utafutaji na upakuaji kwa watumiaji na kujiondoa kwenye mafunzo:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic pia inaauni Crawl-delay kama kiendelezi kisicho cha kiwango, kwa mfano Crawl-delay: 1 chini ya User-agent: ClaudeBot, ukitaka kupunguza kasi ya upitiaji badala ya kuuzuia. Sheria lazima ziwe kwenye robots.txt iliyo katika saraka ya juu ya kila mwenyeji, kwa hivyo ziongeze kwenye kila subdomain unayotaka ihusike.

Mpangilio wa Anthropic unalinganishwaje na wa OpenAI na Perplexity?

Watoa huduma hawa watatu hufuata mtindo uleule kwa majina tofauti, jambo linalofanya robots.txt ya pamoja iwe rahisi kuielewa. Tofauti kuu ni jinsi kila mmoja anavyoichukulia robots.txt kwa upakuaji wa moja kwa moja kwa ombi la mtumiaji.

Ukiandika robots.txt moja kwa wote watatu, weka tokeni za utafutaji na za watumiaji katika kundi moja na tokeni za mafunzo katika jingine. Hilo linaifanya sera isomeke na linaonyesha wazi uamuzi uliofanya kwa kila madhumuni.

Je, nizuie Anthropic kwa anwani ya IP?

Anthropic inashauri dhidi ya hilo. Nyaraka zake zinasema kuzuia anwani za IP huenda kusifanye kazi ipasavyo wala kuhakikisha kujiondoa kwa kudumu, kwa sababu pia huizuia crawler kusoma robots.txt yako. Tumia robots.txt kueleza sera yako.

Anthropic huchapisha anwani za IP za crawler zake kwenye claude.com/crawling/bots.json. Njia yenye manufaa ya kutumia orodha hiyo ni kinyume cha kuzuia: iache firewall yako ithibitishe kwamba ombi linalodai kuwa Claude-SearchBot au Claude-User kweli linatoka Anthropic, na iliruhusu kupita.

Kwa nini Claude bado ishindwe kusoma ukurasa wangu?

Hata robots.txt ikiruhusu, firewall au CDN yako inaweza kujibu mawakala wa Anthropic kwa 403 au ukurasa wa changamoto. Anthropic inasema bot zake huheshimu teknolojia za kuzuia ukwepaji na hazitajaribu kukwepa CAPTCHA, kwa hivyo ukurasa wa changamoto humaliza tu ziara. Kurasa ambazo maandishi yake yanaonekana tu baada ya JavaScript kuendeshwa pia zinaweza kufika karibu tupu.

AISeeWhy huomba ukurasa wako kama ClaudeBot, Claude-SearchBot na Claude-User sambamba na kivinjari na hukagua sheria zako za robots.txt kwa kila moja, ili uone kama sera uliyoandika ndiyo ile ambayo seva yako inatekeleza.

Zana za bure

Hatua zinazofuata

Crawler katika makala hii

Maswali yanayoulizwa mara kwa mara

Je, kuzuia ClaudeBot kunaondoa tovuti yangu kwenye majibu ya Claude?

Si peke yake. Kuorodhesha kwa utafutaji na upakuaji ulioombwa na watumiaji hutumia Claude-SearchBot na Claude-User, ambazo zina tokeni zao za robots.txt.

Je, Claude-User hufuata robots.txt?

Anthropic inasema bot zake huheshimu robots.txt na inaeleza kuzuia Claude-User humo, matokeo yakiwa kwamba Claude haiwezi kupata kurasa zako kwa maswali ya watumiaji.

Je, crawler za Anthropic zitatatua CAPTCHA?

Hapana. Anthropic inasema bot zake huheshimu teknolojia za kuzuia ukwepaji na hazitajaribu kukwepa CAPTCHA.

Je, ninaweza kupunguza kasi ya ClaudeBot badala ya kuizuia?

Ndiyo. Anthropic inaauni Crawl-delay kama kiendelezi kisicho cha kiwango, kwa mfano Crawl-delay: 1 katika kundi la ClaudeBot la robots.txt yako.

Ninawezaje kuthibitisha kwamba ombi kweli linatoka Anthropic?

Linganisha IP ya chanzo na orodha ambayo Anthropic huchapisha kwenye claude.com/crawling/bots.json. User agent peke yake inaweza kunakiliwa na mtu yeyote.

Vyanzo

Makala zaidi