Anthropic-ի ռոբոտները. ClaudeBot, Claude-SearchBot և Claude-User

Հրապարակված է

Կարճ պատասխան

Anthropic-ն աշխատեցնում է երեք գործակալ. ClaudeBot-ը հավաքում է բովանդակություն, որը կարող է օգտագործվել նրա մոդելների ուսուցման համար, Claude-SearchBot-ը բեռնում է էջեր Claude-ի որոնման արդյունքները բարելավելու համար, իսկ Claude-User-ը բեռնում է էջեր, երբ դրանք պետք են Claude-ի օգտատիրոջ հարցին։ Յուրաքանչյուրն ունի իր robots.txt նշանը, և Anthropic-ն ասում է, որ երեքն էլ հարգում են robots.txt-ը։ Միայն ClaudeBot-ին արգելափակելը չի կանգնեցնում որոնումը կամ օգտատիրոջ բեռնումները։

Anthropic-ը փաստաթղթավորում է իր ռոբոտները մեկ օգնության էջում, և կառուցվածքը կրկնում է այլ AI մատակարարներինը. մեկ գործակալ ուսուցման համար, մեկը՝ որոնման, և մեկը՝ օգտատիրոջ անունից ուղիղ բեռնումների համար։ Եթե ցանկանում եք, որ Claude-ը կարողանա գտնել և մեջբերել ձեր էջերը, վերջին երկուսն են ամենակարևորը։

Այս էջում
  1. Ի՞նչ է անում ClaudeBot-ը
  2. Ի՞նչ է անում Claude-SearchBot-ը
  3. Ի՞նչ է անում Claude-User-ը
  4. Ինչպե՞ս գրել robots.txt-ի կանոններ Claude-ի համար
  5. Ինչպե՞ս է Anthropic-ի կառուցվածքը համեմատվում OpenAI-ի և Perplexity-ի հետ
  6. Պե՞տք է արգելափակել Anthropic-ին ըստ IP հասցեի
  7. Ինչո՞ւ Claude-ը դեռ կարող է չկարողանալ կարդալ իմ էջը

Ի՞նչ է անում ClaudeBot-ը

ClaudeBot-ը հավաքում է վեբ բովանդակություն, որը կարող է նպաստել Anthropic-ի գեներատիվ AI մոդելների ուսուցմանը։ Ըստ Anthropic-ի՝ դրան արգելելը ազդանշում է, որ ձեր կայքի ապագա բովանդակությունը պետք է բացառվի ուսուցման տվյալների հավաքածուներից։

Anthropic-ն ասում է նաև, որ հարգում է մեքենայաընթեռնելի «AI ուսուցում չանել» ազդանշանը, որը հիմնված է IETF-ի նախագծի վրա, և որ robots.txt-ում ClaudeBot-ին անվանող կանոնները գերակայում են այդ ընդհանուր կարգավորման նկատմամբ։ Ինչպես այլ ուսուցման ռոբոտների դեպքում, դրա արգելափակումը քաղաքականության ընտրություն է։

Ի՞նչ է անում Claude-SearchBot-ը

Claude-SearchBot-ը բեռնում է վեբը՝ Claude-ում որոնման արդյունքների համապատասխանությունն ու ճշգրտությունը բարելավելու համար։ Anthropic-ն ասում է, որ դրա արգելափակումը կանխում է ձեր բովանդակության ինդեքսավորումը որոնման համար, ինչը կարող է նվազեցնել ձեր տեսանելիությունն ու ճշգրտությունը օգտատերերի որոնման արդյունքներում։

Սա այն գործակալն է, որին պետք է թույլատրել, եթե ցանկանում եք, որ Claude-ի որոնման գործառույթները իմանան ձեր էջերի մասին նախքան որևէ մեկի հարցը։ Քանի որ այն որոնողական ռոբոտ է, նրան օգնում է նույնը, ինչ ցանկացած որոնողական ռոբոտի. robots.txt-ում նշված sitemap, մաքուր ներքին հղումներ և էջեր, որոնք իրենց բովանդակությունը վերադարձնում են առաջին պատասխանում։

Ի՞նչ է անում Claude-User-ը

Claude-User-ը մուտք է գործում կայք, երբ Claude-ի օգտատերը տալիս է հարց, որը դա պահանջում է, օրինակ՝ երբ ինչ-որ մեկը կիսվում է URL-ով կամ խնդրում Claude-ին ինչ-որ բան փնտրել։ Anthropic-ն ասում է, որ դրա արգելափակումը կանխում է բեռնումը օգտատերերի հարցումների պատասխանում, ինչը կարող է նվազեցնել ձեր տեսանելիությունը օգտատիրոջ ուղղորդած վեբ որոնման մեջ։

Նկատեք տարբերությունը որոշ այլ մատակարարներից։ Anthropic-ը նշում է, որ իր բոտերը հարգում են robots.txt-ի հրահանգները, և նկարագրում է Claude-User-ի արգելափակումը robots.txt-ի միջոցով։ OpenAI-ն և Perplexity-ն, ընդհակառակը, ասում են, որ իրենց օգտատիրոջ խնդրած բեռնիչները կարող են չհետևել robots.txt-ին։

Ինչպե՞ս գրել robots.txt-ի կանոններ Claude-ի համար

Յուրաքանչյուր գործակալ ունի իր նշանը, և ըստ RFC 9309-ի՝ ռոբոտին անվանող խումբը նրա համար փոխարինում է * խմբին։ Տարածված ընտրություն է թույլատրել որոնումը և օգտատիրոջ բեռնումները և հրաժարվել ուսուցումից.

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic-ն աջակցում է նաև Crawl-delay-ին որպես ոչ ստանդարտ ընդլայնում, օրինակ՝ Crawl-delay: 1 User-agent: ClaudeBot-ի տակ, եթե ցանկանում եք դանդաղեցնել բեռնումը՝ արգելափակելու փոխարեն։ Կանոնները պետք է գտնվեն յուրաքանչյուր հոսթի վերին մակարդակի robots.txt-ում, ուստի ավելացրեք դրանք յուրաքանչյուր ենթադոմենում, որը ցանկանում եք ընդգրկել։

Ինչպե՞ս է Anthropic-ի կառուցվածքը համեմատվում OpenAI-ի և Perplexity-ի հետ

Երեք մատակարարները հետևում են նույն սխեմային տարբեր անուններով, ինչը հեշտացնում է ընդհանուր robots.txt-ի մասին դատողությունը։ Հիմնական տարբերությունն այն է, թե ինչպես է յուրաքանչյուրը վերաբերվում robots.txt-ին օգտատիրոջ խնդրանքով ուղիղ բեռնումների համար։

Եթե գրում եք մեկ robots.txt երեքի համար, որոնման և օգտատիրոջ նշանները դրեք մեկ խմբում, իսկ ուսուցման նշանները՝ մյուսում։ Դա քաղաքականությունը պահում է ընթեռնելի և ակնհայտ է դարձնում, թե յուրաքանչյուր նպատակի համար ինչ ընտրություն եք կատարել։

Պե՞տք է արգելափակել Anthropic-ին ըստ IP հասցեի

Anthropic-ը խորհուրդ չի տալիս դա անել։ Նրա փաստաթղթերում ասվում է, որ IP հասցեների արգելափակումը կարող է ճիշտ չաշխատել կամ մշտապես չերաշխավորել հրաժարումը, քանի որ այն նաև թույլ չի տալիս ռոբոտին կարդալ ձեր robots.txt-ը։ Օգտագործեք robots.txt-ը ձեր քաղաքականությունը նշելու համար։

Anthropic-ը հրապարակում է իր ռոբոտների IP հասցեները claude.com/crawling/bots.json-ում։ Այդ ցուցակն օգտագործելու օգտակար ձևը արգելափակման հակառակն է. թող ձեր ֆայրվոլը հաստատի, որ Claude-SearchBot կամ Claude-User ներկայացող հարցումն իսկապես գալիս է Anthropic-ից, և բաց թողնի այն։

Ինչո՞ւ Claude-ը դեռ կարող է չկարողանալ կարդալ իմ էջը

Նույնիսկ թույլատրող robots.txt-ի դեպքում ձեր ֆայրվոլը կամ CDN-ը կարող է Anthropic-ի գործակալներին պատասխանել 403-ով կամ ստուգման էջով։ Anthropic-ն ասում է, որ իր բոտերը հարգում են շրջանցման դեմ տեխնոլոգիաները և չեն փորձի շրջանցել CAPTCHA-ները, ուստի ստուգման էջը պարզապես ավարտում է այցը։ Էջերը, որոնց տեքստը հայտնվում է միայն JavaScript-ի գործարկումից հետո, նույնպես կարող են հասնել գրեթե դատարկ։

AISeeWhy-ն հարցնում է ձեր էջը որպես ClaudeBot, Claude-SearchBot և Claude-User՝ բրաուզերի կողքին, և ստուգում է ձեր robots.txt-ի կանոնները յուրաքանչյուրի համար, որպեսզի տեսնեք, թե արդյոք ձեր գրած քաղաքականությունը նույնն է, ինչ կիրառում է ձեր սերվերը։

Անվճար գործիքներ

Հաջորդ քայլերը

Այս հոդվածում նշված ռոբոտները

Հաճախ տրվող հարցեր

ClaudeBot-ին արգելափակելը կհեռացնի՞ իմ կայքը Claude-ի պատասխաններից

Ինքնին՝ ոչ։ Որոնման ինդեքսավորումը և օգտատիրոջ խնդրած բեռնումներն օգտագործում են Claude-SearchBot-ը և Claude-User-ը, որոնք ունեն իրենց robots.txt նշանները։

Արդյո՞ք Claude-User-ը հետևում է robots.txt-ին

Anthropic-ն ասում է, որ իր բոտերը հարգում են robots.txt-ը, և նկարագրում է Claude-User-ի արգելափակումն այնտեղ, որի արդյունքում Claude-ը չի կարող բեռնել ձեր էջերը օգտատերերի հարցերի համար։

Արդյո՞ք Anthropic-ի ռոբոտները կլուծեն CAPTCHA

Ոչ։ Anthropic-ն ասում է, որ իր բոտերը հարգում են շրջանցման դեմ տեխնոլոգիաները և չեն փորձի շրջանցել CAPTCHA-ները։

Կարո՞ղ եմ դանդաղեցնել ClaudeBot-ին՝ արգելափակելու փոխարեն

Այո։ Anthropic-ն աջակցում է Crawl-delay-ին որպես ոչ ստանդարտ ընդլայնում, օրինակ՝ Crawl-delay: 1 ձեր robots.txt-ի ClaudeBot խմբում։

Ինչպե՞ս հաստատել, որ հարցումն իսկապես գալիս է Anthropic-ից

Համեմատեք աղբյուր IP-ն այն ցուցակի հետ, որը Anthropic-ը հրապարակում է claude.com/crawling/bots.json-ում։ Միայն user agent-ը կարող է պատճենել ցանկացած ոք։

Աղբյուրներ

Այլ հոդվածներ