robots.txt AI ռոբոտների համար. ինչ թույլատրել, ինչ արգելափակել

Հրապարակված է

Կարճ պատասխան

Ձեզ հետաքրքրող յուրաքանչյուր AI ռոբոտի տվեք իր սեփական User-agent խումբը։ Թույլատրեք որոնողական ռոբոտներին, ինչպիսիք են OAI-SearchBot, Claude-SearchBot և PerplexityBot, եթե ցանկանում եք, որ ձեզ մեջբերեն, և առանձին որոշեք ուսուցման նշանների մասին, ինչպիսիք են GPTBot, ClaudeBot, Google-Extended և Applebot-Extended։ Անվանված խումբն այդ ռոբոտի համար փոխարինում է * խմբին։

robots.txt-ը պարզ տեքստային ֆայլ է, որը գոյություն ունի 1994 թվականից և 2022-ին դարձավ պաշտոնական ստանդարտ՝ RFC 9309։ AI մատակարարների մեծ մասն ասում է, որ իրենց ռոբոտները հետևում են դրան, և մի քանիսը հրապարակում են առանձին նշաններ որոնման և ուսուցման համար։ Դա robots.txt-ը դարձնում է AI քաղաքականությունը նշելու ամենապարզ տեղը, պայմանով, որ կանոններն իսկապես նշանակում են այն, ինչ կարծում եք։

Այս էջում
  1. Robots.txt-ի ո՞ր նշաններն են օգտագործում AI ռոբոտները
  2. Ինչպիսի՞ն է լավ robots.txt-ը AI-ի համար
  3. Ինչպե՞ս են ռոբոտներն ընտրում իրենց վրա կիրառվող կանոնները
  4. Որո՞նք են robots.txt-ի ամենատարածված սխալները
  5. Կարո՞ղ եմ նշել AI օգտագործման քաղաքականություն՝ թույլատրելուց և արգելելուց բացի
  6. Որքա՞ն ժամանակ են պահանջում փոփոխությունները, և ինչպե՞ս ստուգել դրանք

Robots.txt-ի ո՞ր նշաններն են օգտագործում AI ռոբոտները

Ահա մատակարարների փաստաթղթավորած նշանները։ Ըստ RFC 9309-ի՝ համընկնումը մեծատառ-փոքրատառ չի տարբերում։

Ինչպիսի՞ն է լավ robots.txt-ը AI-ի համար

Այս օրինակը ներս է թողնում AI որոնումը և օգտատիրոջ բեռնումները, հրաժարվում է ուսուցման հիմնական նշաններից և փակ է պահում մեկ մասնավոր բաժին բոլորի համար.

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Մի քանի User-agent տողերն անընդմեջ կազմում են մեկ խումբ, ուստի դրանց տակի կանոնները կիրառվում են այդ ռոբոտներից յուրաքանչյուրի նկատմամբ։ Եթե ցանկանում եք, որ ձեր բովանդակությունն օգտագործվի ուսուցման համար, պարզապես բաց թողեք երկրորդ խումբը։ Google-Extended-ի արգելափակումը չի ազդում Google Search-ի վրա. Google-ն ասում է, որ այն չի ազդում Search-ում ներառման վրա և դասակարգման ազդանշան չէ։ Նույն կերպ Apple-ն ասում է, որ Applebot-Extended-ին արգելող էջերը կարող են շարունակել հայտնվել իր որոնման արդյունքներում։

Ինչպե՞ս են ռոբոտներն ընտրում իրենց վրա կիրառվող կանոնները

RFC 9309-ը սա սահմանում է ճշգրիտ, և մանրամասները բացատրում են անակնկալների մեծ մասը.

Որո՞նք են robots.txt-ի ամենատարածված սխալները

Կարո՞ղ եմ նշել AI օգտագործման քաղաքականություն՝ թույլատրելուց և արգելելուց բացի

Cloudflare-ն առաջարկել է robots.txt-ի համար Content-Signal տող երեք ազդանշանով. search (որոնման ինդեքսի կառուցում և հղումների ու կարճ հատվածների ցուցադրում), ai-input (բովանդակության օգտագործում իրական ժամանակում AI պատասխանների համար) և ai-train (մոդելների ուսուցում կամ fine-tuning)։ Cloudflare-ի կառավարվող robots.txt-ը կարող է այն ավելացնել ձեզ համար։

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Ինչպես robots.txt-ում ամեն ինչ, սրանք նախընտրություններ են, ոչ թե տեխնիկական վերահսկում։ Cloudflare-ն ինքը նշում է, որ robots.txt-ին հետևելը կամավոր է։ Տողը պարտադիր չէ և վնաս չի տալիս, բայց չի փոխարինում վերևում նշված ըստ ռոբոտների խմբերին։

Որքա՞ն ժամանակ են պահանջում փոփոխությունները, և ինչպե՞ս ստուգել դրանք

RFC 9309-ն ասում է, որ ռոբոտները չպետք է քեշավորված robots.txt օգտագործեն 24 ժամից ավելի, իսկ OpenAI-ն և Perplexity-ն երկուսն էլ ասում են, որ փոփոխությունների կիրառումը կարող է տևել մոտ մեկ օր։ Հիշեք նաև, որ robots.txt-ը մուտքի վերահսկում չէ. ֆայրվոլը դեռ կարող է արգելափակել ռոբոտին, որին ձեր կանոնները թույլատրում են։

AISeeWhy-ն վերլուծում է ձեր robots.txt-ը RFC 9309-ով իր ստուգած յուրաքանչյուր ռոբոտի համար, նշում է անհասանելի կամ որպես HTML մատուցվող ֆայլերը, ցույց է տալիս, թե որտեղ են ձեր կանոններն ու ձեր սերվերը հակասում, և տալիս է պատրաստի diff փոփոխության համար։

Այս խնդրի ուղղումները

Անվճար գործիքներ

Հաջորդ քայլերը

Այս հոդվածում նշված ռոբոտները

Հաճախ տրվող հարցեր

GPTBot-ին կամ ClaudeBot-ին արգելափակելը վնասո՞ւմ է իմ տեսանելիությանը AI պատասխաններում

Ուղղակիորեն՝ ոչ։ Երկու մատակարարներն էլ որոնման համար օգտագործում են առանձին որոնողական ռոբոտներ՝ OAI-SearchBot և Claude-SearchBot։ Ուսուցման ռոբոտին արգելափակելը քաղաքականության ընտրություն է։

Արդյո՞ք Google-Extended-ը կանգնեցնում է AI Overviews-ը

Ոչ։ Google-ն ասում է, որ Search-ի AI գործառույթներն օգտագործում են Googlebot-ը և Search-ի սովորական կարգավորումները, ինչպիսիք են nosnippet-ը և noindex-ը։ Google-Extended-ը ընդգրկում է Gemini-ի ուսուցումը և grounding-ը Google-ի այլ արտադրանքներում և չի ազդում Search-ի վրա։

Արդյո՞ք AI ռոբոտներն աջակցում են Crawl-delay-ին

Այն RFC 9309-ի մաս չէ։ Anthropic-ն ասում է, որ աջակցում է Crawl-delay-ին որպես ոչ ստանդարտ ընդլայնում. այլ մատակարարների համար ստուգեք նրանց փաստաթղթերը։

Որտե՞ղ պետք է գտնվի robots.txt-ը

Յուրաքանչյուր հոսթի արմատում, օրինակ՝ https://example.com/robots.txt։ Ենթաթղթապանակում գտնվող ֆայլն անտեսվում է, և յուրաքանչյուր ենթադոմենին անհրաժեշտ է իր սեփականը։

Աղբյուրներ

Այլ հոդվածներ