Ինչպես արգելափակել AI ուսուցումը և մնալ AI որոնման պատասխաններում

Հրապարակված է

Կարճ պատասխան

AI մատակարարների մեծ մասը robots.txt-ում օգտագործում է առանձին նշաններ մոդելների ուսուցման և որոնման համար։ Արգելեք ուսուցման նշանները, ինչպիսիք են GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent և CCBot, և թույլատրեք որոնման ու օգտատիրոջ նշանները, ինչպիսիք են OAI-SearchBot, Claude-SearchBot և PerplexityBot։ Ավելացրեք Content-Signal տող՝ նույն նախընտրությունը բառերով նշելու համար։

Կայքերի շատ սեփականատերեր միաժամանակ երկու բան են ուզում. նրանք չեն ցանկանում, որ իրենց բովանդակությունն օգտագործվի AI մոդելներ ուսուցանելու համար, բայց ցանկանում են, որ AI օգնականները գտնեն, մեջբերեն և հղեն իրենց էջերը։ Քանի որ խոշոր մատակարարներն այժմ այս խնդիրները բաժանում են տարբեր ռոբոտների կամ նշանների միջև, robots.txt-ը կարող է արտահայտել երկու ընտրությունն էլ։ Բարդությունն այն է, որ անունները տարբերվում են մատակարարից մատակարար, մի քանի մատակարար չի տեղավորվում այս սխեմայի մեջ, և մեկ սխալ տողը կարող է ձեզ հեռացնել AI պատասխաններից՝ ուսուցման տվյալների փոխարեն։

Այս էջում
  1. Ո՞րն է տարբերությունը ուսուցման ռոբոտի և որոնողական ռոբոտի միջև
  2. Ո՞ր նշաններն են վերահսկում ուսուցումը, և որո՞նք՝ որոնումը
  3. Ինչպիսի՞ն է robots.txt-ը
  4. Քանի՞ կայք է արդեն այդպես անում
  5. Ի՞նչ է ավելացնում Content-Signal-ը
  6. Որտե՞ղ բաժանումը մաքուր չի աշխատում
  7. Ինչպե՞ս ստուգել, որ բաժանումն աշխատում է

Ո՞րն է տարբերությունը ուսուցման ռոբոտի և որոնողական ռոբոտի միջև

Ուսուցման ռոբոտը հավաքում է էջեր, որոնք կարող են օգտագործվել AI մոդելներ ստեղծելու կամ բարելավելու համար։ Ուսուցումն ինքնին մեջբերում կամ հղում չի տալիս։ Որոնողական ռոբոտը կառուցում է ինդեքս, որը AI օգնականն օգտագործում է պատասխանի համար աղբյուրներ գտնելու համար, և հենց այդ աղբյուրներն է այն կարող մեջբերել։ Օգտատիրոջ կողմից գործարկվող ռոբոտը էջն ուղիղ բացում է, քանի որ ինչ-որ մեկը հարցրել է դրա մասին։

Մատակարարներն այս դերերը փաստաթղթավորում են առանձին և ասում են, որ կարգավորումներն անկախ են։ Օրինակ՝ OpenAI-ն ասում է, որ իր ռոբոտների robots.txt-ի յուրաքանչյուր կարգավորում անկախ է մյուսներից։ Ուստի ճիշտ արված ուսուցումից հրաժարումը չի ազդում ձեր տեսանելիության վրա որոնման մեջ։

Ո՞ր նշաններն են վերահսկում ուսուցումը, և որո՞նք՝ որոնումը

Ահա մատակարարների փաստաթղթավորած նշանները՝ խմբավորված ըստ այն բանի, թե ինչ են վերահսկում.

Ինչպիսի՞ն է robots.txt-ը

Ըստ RFC 9309-ի՝ մի քանի User-agent տողերն անընդմեջ կազմում են մեկ խումբ, ուստի կանոնները կիրառվում են դրանցից յուրաքանչյուրի նկատմամբ։ Այս ֆայլը հրաժարվում է վերը նշված ուսուցման նշաններից, թույլատրում է որոնողական և օգտատիրոջ գործակալներին և փակ է պահում մեկ մասնավոր ուղի բոլորի համար.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Երկու մանրամասն կարևոր է։ Առաջին՝ անվանված խումբը չի ժառանգում *-ից, ուստի բոլոր մասնավոր ուղիները պետք է կրկնվեն որոնման խմբում։ Երկրորդ՝ մի ավելացրեք Googlebot-ը կամ Applebot-ը ուսուցման խմբում. դրանք որոնողական ռոբոտներն են, և դրանց արգելափակումը ձեզ հեռացնում է Google Search-ից և Apple-ի որոնման գործառույթներից։ Փոփոխությունները ակնթարթային չեն. OpenAI-ն որոնման համար նշում է մոտ 24 ժամ, իսկ Perplexity-ն՝ մինչև 24 ժամ։

Քանի՞ կայք է արդեն այդպես անում

Ավելի քիչ, քան կարող եք ակնկալել։ 2026-11-12-ին մենք կարդացինք Tranco ցուցակի ամենահայտնի 1 000 դոմենների robots.txt ֆայլերը։ robots.txt ունեցող 518-ից 155-ը (29,9%) արգելում են գլխավոր էջը առնվազն մեկ AI ուսուցման ռոբոտի համար։ Միայն 57-ն (11,0%) են ընտրում ընտրովի ճանապարհը. արգելափակում են ուսուցման ռոբոտներին և թույլատրում մեր ստուգած բոլոր AI որոնողական և օգտատիրոջ ռոբոտներին։ Ընդհանուր առմամբ 101 կայք (19,5%) արգելափակում է առնվազն մեկ AI որոնողական կամ օգտատիրոջ ռոբոտի։

Ըստ ռոբոտների թվերը ցույց են տալիս նույն բաժանումը։ GPTBot-ն արգելափակված է 111 կայքում (21,4%), իսկ OAI-SearchBot-ը՝ 58-ում (11,2%)։ ClaudeBot-ն արգելափակված է 110-ում (21,2%), Claude-SearchBot-ը՝ 67-ում (12,9%)։ Google-Extended-ն արգելափակված է 94-ում (18,1%), Googlebot-ը՝ 14-ում (2,7%)։ Միայն 18 կայք (3,5%) է օգտագործում Content-Signal։

Ուսումնասիրությունը դիտարկում է robots.txt-ի կանոնները միայն գլխավոր էջի համար։ Այն չի չափում ֆայրվոլի արգելափակումները և ցույց չի տալիս, թե ինչ է մտադրվել յուրաքանչյուր կայք։

Ի՞նչ է ավելացնում Content-Signal-ը

Content Signals-ը robots.txt-ի ընդլայնում է, որը Cloudflare-ը հրապարակել է contentsignals.org կայքում։ Content-Signal տողը նշում է, թե ինչպես կարող է օգտագործվել բովանդակությունը, երեք ազդանշանով. search (որոնման ինդեքսի կառուցում և հղումների ու կարճ հատվածների ցուցադրում), ai-input (բովանդակության փոխանցում AI մոդելներին իրական ժամանակում, օրինակ՝ grounding կամ retrieval գեներատիվ պատասխանների համար) և ai-train (մոդելների ուսուցում կամ fine-tuning)։

Նկատի ունեցեք, որ search-ի սահմանումը բացառում է AI-ի գեներացրած որոնման ամփոփումները։ Եթե ցանկանում եք հայտնվել AI պատասխաններում, սահմանեք նաև ai-input=yes, ինչպես վերևի օրինակում։ Cloudflare-ի կառավարվող robots.txt-ը լռելյայն ավելացնում է search=yes, ai-train=no. ազդանշանը, որը բաց եք թողնում, ոչ թույլատրում է, ոչ էլ սահմանափակում այդ օգտագործումը։

Սրանք հայտարարված նախընտրություններ են։ Content Signals կայքն ասում է, որ դրանք տեխնիկապես չեն կանխում ռոբոտային բեռնումը, իսկ Cloudflare-ը նշում է, որ robots.txt-ին հետևելը կամավոր է։ OpenAI-ի, Anthropic-ի, Google-ի կամ Perplexity-ի ռոբոտների էջերից ոչ մեկը, որ մենք ստուգել ենք, չի ասում, թե արդյոք դրանք կարդում են Content-Signal-ը, ուստի դիտարկեք այն որպես լրացում ըստ ռոբոտների խմբերին, ոչ թե փոխարինում։

Որտե՞ղ բաժանումը մաքուր չի աշխատում

Մի քանի դեպք զգուշություն է պահանջում.

Ինչպե՞ս ստուգել, որ բաժանումն աշխատում է

Կարդացեք ձեր robots.txt-ը այնպես, ինչպես կկարդար յուրաքանչյուր ռոբոտ. գտեք այն խումբը, որն անվանում է նրան, անցեք *-ին միայն եթե այդպիսին չկա, և կիրառեք ամենաերկար համընկնող կանոնը։ Այնուհետև հարցրեք էջը յուրաքանչյուր որոնողական ռոբոտի user agent-ով և համոզվեք, որ այն ստանում է 200՝ ամբողջական բովանդակությամբ, ոչ թե 403 կամ ստուգման էջ։

AISeeWhy-ն երկուսն էլ անում է 14 ռոբոտի համար՝ խմբավորված որպես ուսուցման, որոնողական և օգտատիրոջ գործակալներ, և նշում է ամենատարածված սխալը. որոնման նշանի, օրինակ՝ PerplexityBot-ի կամ Claude-SearchBot-ի արգելափակումը, երբ նպատակը ուսուցումն արգելափակելն էր։

Անվճար գործիքներ

Հաջորդ քայլերը

Այս հոդվածում նշված ռոբոտները

Հաճախ տրվող հարցեր

GPTBot-ին արգելափակելը կհեռացնի՞ իմ կայքը ChatGPT-ի պատասխաններից

Ոչ։ OpenAI-ն ասում է, որ GPTBot-ը ուսուցման համար է, և որ robots.txt-ի յուրաքանչյուր կարգավորում անկախ է։ ChatGPT որոնումն օգտագործում է OAI-SearchBot-ը. քանի դեռ այն թույլատրված է և արգելափակված չէ ձեր ֆայրվոլի կողմից, ձեր էջերը մնում են ընտրելի։

Google-Extended-ին արգելափակելը ինձ կհեռացնի՞ AI Overviews-ից

Google-ի փաստաթղթերի համաձայն՝ ոչ։ Google-ն ասում է, որ Google-Extended-ը չի ազդում Google Search-ում ներառման վրա, իսկ AI Overviews-ը հենվում է Search-ի ինդեքսի վրա։ Google-ն առաջարկում է Search Console-ի առանձին կարգավորում՝ կայքը AI Overviews-ից և AI Mode-ից բացառելու համար։

Կա՞ մեկ տող, որն արգելափակում է ողջ AI ուսուցումը

Ստանդարտ տող չկա։ Content-Signal: ai-train=no-ն նշում է նախընտրությունը բոլոր ռոբոտների համար, բայց թե արդյոք ռոբոտը հարգում է այն, կախված է օպերատորից։ Ուսուցման յուրաքանչյուր նշանի համար անվանված խմբերն են փաստաթղթավորված միջոցը։

Պե՞տք է արգելափակեմ Perplexity-ին՝ AI ուսուցումը կանգնեցնելու համար

Perplexity-ն ասում է, որ իր գործակալները չեն օգտագործվում ուսուցման տվյալներ հավաքելու համար։ PerplexityBot-ին արգելափակելը նվազեցնում է ձեր տեսանելիությունը Perplexity-ի որոնման արդյունքներում՝ առանց ուսուցումից հրաժարման ծառայելու։

Աղբյուրներ

Այլ հոդվածներ