Anthropic-ի ռոբոտները. ClaudeBot, Claude-SearchBot և Claude-User
Anthropic-ն աշխատեցնում է երեք գործակալ. ClaudeBot-ը հավաքում է բովանդակություն, որը կարող է օգտագործվել նրա մոդելների ուսուցման համար, Claude-SearchBot-ը բեռնում է էջեր Claude-ի որոնման արդյունքները բարելավելու համար, իսկ Claude-User-ը բեռնում է էջեր, երբ դրանք պետք են Claude-ի օգտատիրոջ հարցին։ Յուրաքանչյուրն ունի իր robots.txt նշանը, և Anthropic-ն ասում է, որ երեքն էլ հարգում են robots.txt-ը։ Միայն ClaudeBot-ին արգելափակելը չի կանգնեցնում որոնումը կամ օգտատիրոջ բեռնումները։
Anthropic-ը փաստաթղթավորում է իր ռոբոտները մեկ օգնության էջում, և կառուցվածքը կրկնում է այլ AI մատակարարներինը. մեկ գործակալ ուսուցման համար, մեկը՝ որոնման, և մեկը՝ օգտատիրոջ անունից ուղիղ բեռնումների համար։ Եթե ցանկանում եք, որ Claude-ը կարողանա գտնել և մեջբերել ձեր էջերը, վերջին երկուսն են ամենակարևորը։
Այս էջում
- Ի՞նչ է անում ClaudeBot-ը
- Ի՞նչ է անում Claude-SearchBot-ը
- Ի՞նչ է անում Claude-User-ը
- Ինչպե՞ս գրել robots.txt-ի կանոններ Claude-ի համար
- Ինչպե՞ս է Anthropic-ի կառուցվածքը համեմատվում OpenAI-ի և Perplexity-ի հետ
- Պե՞տք է արգելափակել Anthropic-ին ըստ IP հասցեի
- Ինչո՞ւ Claude-ը դեռ կարող է չկարողանալ կարդալ իմ էջը
Ի՞նչ է անում ClaudeBot-ը
ClaudeBot-ը հավաքում է վեբ բովանդակություն, որը կարող է նպաստել Anthropic-ի գեներատիվ AI մոդելների ուսուցմանը։ Ըստ Anthropic-ի՝ դրան արգելելը ազդանշում է, որ ձեր կայքի ապագա բովանդակությունը պետք է բացառվի ուսուցման տվյալների հավաքածուներից։
Anthropic-ն ասում է նաև, որ հարգում է մեքենայաընթեռնելի «AI ուսուցում չանել» ազդանշանը, որը հիմնված է IETF-ի նախագծի վրա, և որ robots.txt-ում ClaudeBot-ին անվանող կանոնները գերակայում են այդ ընդհանուր կարգավորման նկատմամբ։ Ինչպես այլ ուսուցման ռոբոտների դեպքում, դրա արգելափակումը քաղաքականության ընտրություն է։
Ի՞նչ է անում Claude-SearchBot-ը
Claude-SearchBot-ը բեռնում է վեբը՝ Claude-ում որոնման արդյունքների համապատասխանությունն ու ճշգրտությունը բարելավելու համար։ Anthropic-ն ասում է, որ դրա արգելափակումը կանխում է ձեր բովանդակության ինդեքսավորումը որոնման համար, ինչը կարող է նվազեցնել ձեր տեսանելիությունն ու ճշգրտությունը օգտատերերի որոնման արդյունքներում։
Սա այն գործակալն է, որին պետք է թույլատրել, եթե ցանկանում եք, որ Claude-ի որոնման գործառույթները իմանան ձեր էջերի մասին նախքան որևէ մեկի հարցը։ Քանի որ այն որոնողական ռոբոտ է, նրան օգնում է նույնը, ինչ ցանկացած որոնողական ռոբոտի. robots.txt-ում նշված sitemap, մաքուր ներքին հղումներ և էջեր, որոնք իրենց բովանդակությունը վերադարձնում են առաջին պատասխանում։
Ի՞նչ է անում Claude-User-ը
Claude-User-ը մուտք է գործում կայք, երբ Claude-ի օգտատերը տալիս է հարց, որը դա պահանջում է, օրինակ՝ երբ ինչ-որ մեկը կիսվում է URL-ով կամ խնդրում Claude-ին ինչ-որ բան փնտրել։ Anthropic-ն ասում է, որ դրա արգելափակումը կանխում է բեռնումը օգտատերերի հարցումների պատասխանում, ինչը կարող է նվազեցնել ձեր տեսանելիությունը օգտատիրոջ ուղղորդած վեբ որոնման մեջ։
Նկատեք տարբերությունը որոշ այլ մատակարարներից։ Anthropic-ը նշում է, որ իր բոտերը հարգում են robots.txt-ի հրահանգները, և նկարագրում է Claude-User-ի արգելափակումը robots.txt-ի միջոցով։ OpenAI-ն և Perplexity-ն, ընդհակառակը, ասում են, որ իրենց օգտատիրոջ խնդրած բեռնիչները կարող են չհետևել robots.txt-ին։
Ինչպե՞ս գրել robots.txt-ի կանոններ Claude-ի համար
Յուրաքանչյուր գործակալ ունի իր նշանը, և ըստ RFC 9309-ի՝ ռոբոտին անվանող խումբը նրա համար փոխարինում է * խմբին։ Տարածված ընտրություն է թույլատրել որոնումը և օգտատիրոջ բեռնումները և հրաժարվել ուսուցումից.
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / Anthropic-ն աջակցում է նաև Crawl-delay-ին որպես ոչ ստանդարտ ընդլայնում, օրինակ՝ Crawl-delay: 1 User-agent: ClaudeBot-ի տակ, եթե ցանկանում եք դանդաղեցնել բեռնումը՝ արգելափակելու փոխարեն։ Կանոնները պետք է գտնվեն յուրաքանչյուր հոսթի վերին մակարդակի robots.txt-ում, ուստի ավելացրեք դրանք յուրաքանչյուր ենթադոմենում, որը ցանկանում եք ընդգրկել։
Ինչպե՞ս է Anthropic-ի կառուցվածքը համեմատվում OpenAI-ի և Perplexity-ի հետ
Երեք մատակարարները հետևում են նույն սխեմային տարբեր անուններով, ինչը հեշտացնում է ընդհանուր robots.txt-ի մասին դատողությունը։ Հիմնական տարբերությունն այն է, թե ինչպես է յուրաքանչյուրը վերաբերվում robots.txt-ին օգտատիրոջ խնդրանքով ուղիղ բեռնումների համար։
- Որոնողական ռոբոտ.
Claude-SearchBotAnthropic-ի համար,OAI-SearchBotOpenAI-ի համար,PerplexityBotPerplexity-ի համար։ - Ուսուցման ռոբոտ.
ClaudeBotAnthropic-ի համար,GPTBotOpenAI-ի համար։ Perplexity-ն ասում է, որPerplexityBot-ը չի օգտագործվում AI հիմնային մոդելների համար բովանդակություն հավաքելու նպատակով։ - Օգտատիրոջ բեռնումներ.
Claude-User,ChatGPT-UserևPerplexity-User։ Anthropic-ն ասում է, որ իր բոտերը հարգում են robots.txt-ը, OpenAI-ն ասում է, որ robots.txt-ը կարող է չկիրառվելChatGPT-User-ի նկատմամբ, Perplexity-ն ասում է, որPerplexity-User-ը, որպես կանոն, անտեսում է այն։
Եթե գրում եք մեկ robots.txt երեքի համար, որոնման և օգտատիրոջ նշանները դրեք մեկ խմբում, իսկ ուսուցման նշանները՝ մյուսում։ Դա քաղաքականությունը պահում է ընթեռնելի և ակնհայտ է դարձնում, թե յուրաքանչյուր նպատակի համար ինչ ընտրություն եք կատարել։
Պե՞տք է արգելափակել Anthropic-ին ըստ IP հասցեի
Anthropic-ը խորհուրդ չի տալիս դա անել։ Նրա փաստաթղթերում ասվում է, որ IP հասցեների արգելափակումը կարող է ճիշտ չաշխատել կամ մշտապես չերաշխավորել հրաժարումը, քանի որ այն նաև թույլ չի տալիս ռոբոտին կարդալ ձեր robots.txt-ը։ Օգտագործեք robots.txt-ը ձեր քաղաքականությունը նշելու համար։
Anthropic-ը հրապարակում է իր ռոբոտների IP հասցեները claude.com/crawling/bots.json-ում։ Այդ ցուցակն օգտագործելու օգտակար ձևը արգելափակման հակառակն է. թող ձեր ֆայրվոլը հաստատի, որ Claude-SearchBot կամ Claude-User ներկայացող հարցումն իսկապես գալիս է Anthropic-ից, և բաց թողնի այն։
Ինչո՞ւ Claude-ը դեռ կարող է չկարողանալ կարդալ իմ էջը
Նույնիսկ թույլատրող robots.txt-ի դեպքում ձեր ֆայրվոլը կամ CDN-ը կարող է Anthropic-ի գործակալներին պատասխանել 403-ով կամ ստուգման էջով։ Anthropic-ն ասում է, որ իր բոտերը հարգում են շրջանցման դեմ տեխնոլոգիաները և չեն փորձի շրջանցել CAPTCHA-ները, ուստի ստուգման էջը պարզապես ավարտում է այցը։ Էջերը, որոնց տեքստը հայտնվում է միայն JavaScript-ի գործարկումից հետո, նույնպես կարող են հասնել գրեթե դատարկ։
AISeeWhy-ն հարցնում է ձեր էջը որպես ClaudeBot, Claude-SearchBot և Claude-User՝ բրաուզերի կողքին, և ստուգում է ձեր robots.txt-ի կանոնները յուրաքանչյուրի համար, որպեսզի տեսնեք, թե արդյոք ձեր գրած քաղաքականությունը նույնն է, ինչ կիրառում է ձեր սերվերը։
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- AI ռոբոտների IP ստուգում
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
ClaudeBot-ին արգելափակելը կհեռացնի՞ իմ կայքը Claude-ի պատասխաններից
Ինքնին՝ ոչ։ Որոնման ինդեքսավորումը և օգտատիրոջ խնդրած բեռնումներն օգտագործում են Claude-SearchBot-ը և Claude-User-ը, որոնք ունեն իրենց robots.txt նշանները։
Արդյո՞ք Claude-User-ը հետևում է robots.txt-ին
Anthropic-ն ասում է, որ իր բոտերը հարգում են robots.txt-ը, և նկարագրում է Claude-User-ի արգելափակումն այնտեղ, որի արդյունքում Claude-ը չի կարող բեռնել ձեր էջերը օգտատերերի հարցերի համար։
Արդյո՞ք Anthropic-ի ռոբոտները կլուծեն CAPTCHA
Ոչ։ Anthropic-ն ասում է, որ իր բոտերը հարգում են շրջանցման դեմ տեխնոլոգիաները և չեն փորձի շրջանցել CAPTCHA-ները։
Կարո՞ղ եմ դանդաղեցնել ClaudeBot-ին՝ արգելափակելու փոխարեն
Այո։ Anthropic-ն աջակցում է Crawl-delay-ին որպես ոչ ստանդարտ ընդլայնում, օրինակ՝ Crawl-delay: 1 ձեր robots.txt-ի ClaudeBot խմբում։
Ինչպե՞ս հաստատել, որ հարցումն իսկապես գալիս է Anthropic-ից
Համեմատեք աղբյուր IP-ն այն ցուցակի հետ, որը Anthropic-ը հրապարակում է claude.com/crawling/bots.json-ում։ Միայն user agent-ը կարող է պատճենել ցանկացած ոք։
Աղբյուրներ
- Anthropic: Արդյո՞ք Anthropic-ը հավաքում է տվյալներ վեբից, և ինչպե՞ս կարող են կայքերի սեփականատերերն արգելափակել ռոբոտին
- RFC 9309: Robots Exclusion Protocol