robots.txt AI ռոբոտների համար. ինչ թույլատրել, ինչ արգելափակել
Ձեզ հետաքրքրող յուրաքանչյուր AI ռոբոտի տվեք իր սեփական User-agent խումբը։ Թույլատրեք որոնողական ռոբոտներին, ինչպիսիք են OAI-SearchBot, Claude-SearchBot և PerplexityBot, եթե ցանկանում եք, որ ձեզ մեջբերեն, և առանձին որոշեք ուսուցման նշանների մասին, ինչպիսիք են GPTBot, ClaudeBot, Google-Extended և Applebot-Extended։ Անվանված խումբն այդ ռոբոտի համար փոխարինում է * խմբին։
robots.txt-ը պարզ տեքստային ֆայլ է, որը գոյություն ունի 1994 թվականից և 2022-ին դարձավ պաշտոնական ստանդարտ՝ RFC 9309։ AI մատակարարների մեծ մասն ասում է, որ իրենց ռոբոտները հետևում են դրան, և մի քանիսը հրապարակում են առանձին նշաններ որոնման և ուսուցման համար։ Դա robots.txt-ը դարձնում է AI քաղաքականությունը նշելու ամենապարզ տեղը, պայմանով, որ կանոններն իսկապես նշանակում են այն, ինչ կարծում եք։
Այս էջում
- Robots.txt-ի ո՞ր նշաններն են օգտագործում AI ռոբոտները
- Ինչպիսի՞ն է լավ robots.txt-ը AI-ի համար
- Ինչպե՞ս են ռոբոտներն ընտրում իրենց վրա կիրառվող կանոնները
- Որո՞նք են robots.txt-ի ամենատարածված սխալները
- Կարո՞ղ եմ նշել AI օգտագործման քաղաքականություն՝ թույլատրելուց և արգելելուց բացի
- Որքա՞ն ժամանակ են պահանջում փոփոխությունները, և ինչպե՞ս ստուգել դրանք
Robots.txt-ի ո՞ր նշաններն են օգտագործում AI ռոբոտները
Ահա մատակարարների փաստաթղթավորած նշանները։ Ըստ RFC 9309-ի՝ համընկնումը մեծատառ-փոքրատառ չի տարբերում։
- OpenAI.
OAI-SearchBot(ChatGPT որոնում),GPTBot(ուսուցում),ChatGPT-User(օգտատիրոջ խնդրած այցեր. OpenAI-ն ասում է, որ robots.txt-ը կարող է չկիրառվել)։ - Anthropic.
Claude-SearchBot(որոնում),ClaudeBot(ուսուցում),Claude-User(օգտատիրոջ խնդրած այցեր)։ - Perplexity.
PerplexityBot(որոնում),Perplexity-User(օգտատիրոջ խնդրած այցեր. Perplexity-ն ասում է, որ այն, որպես կանոն, անտեսում է robots.txt-ը)։ - Google.
Googlebot(Search, ներառյալ նրա AI գործառույթները) ևGoogle-Extended, նշան առանց սեփական ռոբոտի, որը վերահսկում է օգտագործումը Gemini-ի ուսուցման և grounding-ի համար։ - Apple.
Applebot(Spotlight, Siri, Safari-ի որոնում) ևApplebot-Extended, որը էջեր չի բեռնում, բայց վերահսկում է օգտագործումը Apple-ի հիմնային մոդելների ուսուցման համար։ - Meta.
meta-externalagent(ուսուցում և արտադրանքների ինդեքսավորում) ևmeta-webindexer(Meta AI որոնում)։ - Common Crawl.
CCBot, որը կառուցում է Common Crawl-ի վեբ տվյալների անվճար հանրային արխիվը։
Ինչպիսի՞ն է լավ robots.txt-ը AI-ի համար
Այս օրինակը ներս է թողնում AI որոնումը և օգտատիրոջ բեռնումները, հրաժարվում է ուսուցման հիմնական նշաններից և փակ է պահում մեկ մասնավոր բաժին բոլորի համար.
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Մի քանի User-agent տողերն անընդմեջ կազմում են մեկ խումբ, ուստի դրանց տակի կանոնները կիրառվում են այդ ռոբոտներից յուրաքանչյուրի նկատմամբ։ Եթե ցանկանում եք, որ ձեր բովանդակությունն օգտագործվի ուսուցման համար, պարզապես բաց թողեք երկրորդ խումբը։ Google-Extended-ի արգելափակումը չի ազդում Google Search-ի վրա. Google-ն ասում է, որ այն չի ազդում Search-ում ներառման վրա և դասակարգման ազդանշան չէ։ Նույն կերպ Apple-ն ասում է, որ Applebot-Extended-ին արգելող էջերը կարող են շարունակել հայտնվել իր որոնման արդյունքներում։
Ինչպե՞ս են ռոբոտներն ընտրում իրենց վրա կիրառվող կանոնները
RFC 9309-ը սա սահմանում է ճշգրիտ, և մանրամասները բացատրում են անակնկալների մեծ մասը.
- Ռոբոտը փնտրում է այն խումբը, որի
User-agent-ը համընկնում է իր արտադրանքի նշանի հետ՝ անտեսելով մեծատառ-փոքրատառը։ Եթե մի քանի խումբ է համընկնում, դրանց կանոնները միավորվում են մեկում։ - Միայն եթե ոչ մի խումբ չի համընկնում, ռոբոտը հետևում է
User-agent: *խմբին։ Անվանված խումբը*-ից ոչինչ չի ժառանգում։ - Խմբի ներսում հաղթում է ամենաերկար համընկնող ուղով կանոնը։
/blog/post-ի համարAllow: /blog/-ը գերակայում էDisallow: /-ի նկատմամբ։ - Եթե
AllowևDisallowկանոնները համընկնում են հավասար երկարությամբ, պետք է կիրառվիAllow-ը։ - Ուղում
*-ը համընկնում է ցանկացած նիշերի հետ, իսկ$-ը ամրացնում է վերջը, ուստիDisallow: /*.pdf$-ը ընդգրկում է բոլոր PDF-ները։
Որո՞նք են robots.txt-ի ամենատարածված սխալները
- Ակնկալել, որ անվանված խումբը կժառանգի
*-ից։OAI-SearchBot-ի խումբը միայնAllow: /-ով բացում է բոլոր ուղիները, ներառյալ նրանք, որոնք արգելել եք*-ի տակ։ - robots.txt-ի հասցե, որը վերադարձնում է HTML էջ, հաճախ 404 էջ՝ 200 կարգավիճակով։ Ռոբոտները դրանում վավեր կանոններ չեն գտնում։
- robots.txt, որը վերադարձնում է սերվերի սխալ։ RFC 9309-ն ասում է, որ այդ դեպքում ռոբոտը պետք է ամբողջ կայքը համարի արգելված։ 404-ը այլ է. այն նշանակում է, որ սահմանափակումներ չկան։
- Որոնման նշանի արգելափակում, երբ նպատակն ուսուցումն արգելափակելն էր, օրինակ՝
PerplexityBot-ին կամClaude-SearchBot-ին արգելելը՝ մոդելների ուսուցումից խուսափելու համար։ - Հույսը դնել robots.txt-ի վրա՝ օգտատիրոջ խնդրած բեռնումները կանգնեցնելու համար։ OpenAI-ն և Perplexity-ն երկուսն էլ ասում են, որ իրենց օգտատիրոջ գործակալները կարող են չհետևել դրան։
- Մոռանալ ենթադոմենները։ Յուրաքանչյուր հոսթ ունի իր robots.txt-ը. Anthropic-ի փաստաթղթերը հիշեցնում են կայքերի սեփականատերերին կանոններ ավելացնել յուրաքանչյուր ենթադոմենի համար։
Կարո՞ղ եմ նշել AI օգտագործման քաղաքականություն՝ թույլատրելուց և արգելելուց բացի
Cloudflare-ն առաջարկել է robots.txt-ի համար Content-Signal տող երեք ազդանշանով. search (որոնման ինդեքսի կառուցում և հղումների ու կարճ հատվածների ցուցադրում), ai-input (բովանդակության օգտագործում իրական ժամանակում AI պատասխանների համար) և ai-train (մոդելների ուսուցում կամ fine-tuning)։ Cloudflare-ի կառավարվող robots.txt-ը կարող է այն ավելացնել ձեզ համար։
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Ինչպես robots.txt-ում ամեն ինչ, սրանք նախընտրություններ են, ոչ թե տեխնիկական վերահսկում։ Cloudflare-ն ինքը նշում է, որ robots.txt-ին հետևելը կամավոր է։ Տողը պարտադիր չէ և վնաս չի տալիս, բայց չի փոխարինում վերևում նշված ըստ ռոբոտների խմբերին։
Որքա՞ն ժամանակ են պահանջում փոփոխությունները, և ինչպե՞ս ստուգել դրանք
RFC 9309-ն ասում է, որ ռոբոտները չպետք է քեշավորված robots.txt օգտագործեն 24 ժամից ավելի, իսկ OpenAI-ն և Perplexity-ն երկուսն էլ ասում են, որ փոփոխությունների կիրառումը կարող է տևել մոտ մեկ օր։ Հիշեք նաև, որ robots.txt-ը մուտքի վերահսկում չէ. ֆայրվոլը դեռ կարող է արգելափակել ռոբոտին, որին ձեր կանոնները թույլատրում են։
AISeeWhy-ն վերլուծում է ձեր robots.txt-ը RFC 9309-ով իր ստուգած յուրաքանչյուր ռոբոտի համար, նշում է անհասանելի կամ որպես HTML մատուցվող ֆայլերը, ցույց է տալիս, թե որտեղ են ձեր կանոններն ու ձեր սերվերը հակասում, և տալիս է պատրաստի diff փոփոխության համար։
Այս խնդրի ուղղումները
- robots.txt-ը թույլատրում է GPTBot ռոբոտին, բայց սերվերն արգելափակում է այն
- robots.txt-ը արգելում է OAI-SearchBot ռոբոտին
- robots.txt-ը HTML էջ է
- robots.txt-ում Content-Signal չկա
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
GPTBot-ին կամ ClaudeBot-ին արգելափակելը վնասո՞ւմ է իմ տեսանելիությանը AI պատասխաններում
Ուղղակիորեն՝ ոչ։ Երկու մատակարարներն էլ որոնման համար օգտագործում են առանձին որոնողական ռոբոտներ՝ OAI-SearchBot և Claude-SearchBot։ Ուսուցման ռոբոտին արգելափակելը քաղաքականության ընտրություն է։
Արդյո՞ք Google-Extended-ը կանգնեցնում է AI Overviews-ը
Ոչ։ Google-ն ասում է, որ Search-ի AI գործառույթներն օգտագործում են Googlebot-ը և Search-ի սովորական կարգավորումները, ինչպիսիք են nosnippet-ը և noindex-ը։ Google-Extended-ը ընդգրկում է Gemini-ի ուսուցումը և grounding-ը Google-ի այլ արտադրանքներում և չի ազդում Search-ի վրա։
Արդյո՞ք AI ռոբոտներն աջակցում են Crawl-delay-ին
Այն RFC 9309-ի մաս չէ։ Anthropic-ն ասում է, որ աջակցում է Crawl-delay-ին որպես ոչ ստանդարտ ընդլայնում. այլ մատակարարների համար ստուգեք նրանց փաստաթղթերը։
Որտե՞ղ պետք է գտնվի robots.txt-ը
Յուրաքանչյուր հոսթի արմատում, օրինակ՝ https://example.com/robots.txt։ Ենթաթղթապանակում գտնվող ֆայլն անտեսվում է, և յուրաքանչյուր ենթադոմենին անհրաժեշտ է իր սեփականը։
Աղբյուրներ
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI-ի ռոբոտների ակնարկ
- Google: Ընդհանուր ռոբոտներ, ներառյալ Google-Extended-ը
- Apple: Applebot-ի մասին
- Cloudflare: Կառավարվող robots.txt և Content Signals