Ի՞նչ է Content-Signal-ը robots.txt-ում, և հետևո՞ւմ է արդյոք որևէ մեկը դրան

Հրապարակված է

Կարճ պատասխան

Content-Signal-ը robots.txt-ի ոչ պարտադիր տող է, որը հրապարակել է Cloudflare-ը և որը նշում է, թե ինչպես կարող է օգտագործվել ձեր բովանդակությունը բեռնվելուց հետո. search՝ որոնման արդյունքների համար, ai-input՝ AI պատասխաններին փոխանցելու համար և ai-train՝ մոդելների ուսուցման համար, յուրաքանչյուրը yes կամ no արժեքով, ինչպես Content-Signal: search=yes, ai-input=yes, ai-train=no-ում։ Այն արտահայտում է նախընտրություն և ոչինչ չի արգելափակում։ 2026 թ. նոյեմբերի դրությամբ OpenAI-ի, Anthropic-ի, Google-ի կամ Perplexity-ի ռոբոտների էջերից ոչ մեկը չի ասում, որ կարդում է այն, մինչդեռ խոշոր AI ընկերությունները փոխարենը աջակցել են մեկ այլ նշանի, որը վերաբերում է միայն ուսուցմանը։

robots.txt-ը ստեղծվել է ասելու համար, թե ուր կարող է գնալ ռոբոտը, ոչ թե ինչ կարելի է անել նրա կարդացածի հետ։ Երբ նույն բեռնումը կարող էր սնել որոնողական ինդեքսը, կենդանի AI պատասխանը և ուսուցման հավաքածուն, այդ բացը կարևոր դարձավ։ Cloudflare-ը այն լրացնելու համար 2025 թ. սեպտեմբերի 24-ին CC0 լիցենզիայով հրապարակեց Content Signals Policy-ն և այն ժամանակ ասաց, որ իր հաճախորդներն արդեն միացրել են կառավարվող robots.txt-ը ավելի քան 3,8 միլիոն դոմենի համար. այդ գործառույթն այժմ ավելացնում է տողը նրանց փոխարեն։

Այս էջում
  1. Ի՞նչ են նշանակում search, ai-input և ai-train
  2. Ինչպե՞ս գրել Content-Signal տող robots.txt-ում
  3. Ի՞նչ է ասում տողի վերևում գտնվող քաղաքականության տեքստը
  4. Content-Signal-ն արդեն կա՞ իմ robots.txt-ում
  5. AI ռոբոտները հետևո՞ւմ են Content-Signal-ին
  6. Արժե՞ ավելացնել Content-Signal իմ robots.txt-ում
  7. Ինչպե՞ս ստուգել, թե ինչ է ասում իմ robots.txt-ը յուրաքանչյուր ռոբոտի

Ի՞նչ են նշանակում search, ai-input և ai-train

Քաղաքականությունը սահմանում է երեք ազդանշան։ Ստորև ձևակերպումը հետևում է contentsignals.org-ին և Cloudflare-ի հրապարակած քաղաքականության տեքստին.

Յուրաքանչյուր ազդանշան ընդունում է yes կամ no։ Քաղաքականության տերմիններով yes-ը նշանակում է, որ բովանդակությունը կարող է հավաքվել այդ օգտագործման համար, no-ն՝ որ չի կարող, իսկ բաց թողնված ազդանշանը ոչ թույլատրում է, ոչ էլ սահմանափակում այդ օգտագործումը։ Cloudflare-ի լռելյայն կարգավորումը սահմանում է search-ը և ai-train-ը և ai-input-ը թողնում է չսահմանված, քանի որ, իր խոսքով, չգիտի յուրաքանչյուր հաճախորդի նախընտրությունն այդ ազդանշանի համար և չի ուզում գուշակել։

search-ի և ai-input-ի բաժանումն այն է, որ մարդկանց մեծ մասը բաց է թողնում։ Եթե ուզում եք, որ ձեր էջերն օգտագործվեն AI պատասխաններում, միայն search=yes-ը դա չի ասում։ ai-input=yes-ը ասում է։

Ինչպե՞ս գրել Content-Signal տող robots.txt-ում

Content-Signal-ը գրվում է user agent խմբի ներսում՝ Allow-ի և Disallow-ի կողքին, ազդանշանները ստորակետերով բաժանված։ contentsignals.org-ը ցույց է տալիս նաև ճանապարհով սկսվող ձև, որպեսզի կայքի մեկ բաժինը կարողանա կրել մնացածից տարբեր ազդանշաններ.

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow-ը և Disallow-ը շարունակում են աշխատել ճիշտ ինչպես առաջ, և Content-Signal-ը դրանք չի փոխարինում։ RFC 9309-ը ռոբոտներին թույլ է տալիս մեկնաբանել արձանագրության մաս չկազմող գրառումներ, քանի դեռ դա չի խանգարում սահմանված կանոններին, ուստի այս տողը չճանաչող վերլուծիչը պետք է բաց թողնի այն։

Երկու մանրուք արժե իմանալ։ Նախ, տողը պատկանում է խմբին։ Ըստ RFC 9309-ի՝ ռոբոտը, որն ունի իր անունով խումբ, ամբողջությամբ անտեսում է User-agent: * խումբը, և Content Signals-ի էջերը այս տողի համար որևէ բացառություն չեն նկարագրում։ Եթե Googlebot-ին կամ OAI-SearchBot-ին տալիս եք առանձին խումբ, կրկնեք Content-Signal տողն այնտեղ, ինչպես անում է contentsignals.org-ը ըստ ռոբոտի իր օրինակում։ Երկրորդ, Google Search Console-ը տողի համար կարող է հաղորդել Syntax not understood։ Cloudflare-ի փաստաթղթերը նշում են սա և ասում, որ ազդեցություն շրջանցման կամ SEO-ի վրա չի նկատվել։ Google-ի robots.txt-ի փաստաթղթերը որպես աջակցվող դաշտեր թվարկում են միայն user-agent, allow, disallow և sitemap։

Ի՞նչ է ասում տողի վերևում գտնվող քաղաքականության տեքստը

Content Signals Policy-ն ավելին է, քան մեկ տող։ contentsignals.org-ի Cloudflare-ի գեներատորը և նրա կառավարվող robots.txt-ը երկուսն էլ ազդանշանների վերևում տեղադրում են մեկնաբանությունների բլոկ։ Այն սկսվում է ասելով, որ կայք մուտք գործելու պայմանով դուք համաձայնում եք հետևել content signals-ին, ապա սահմանում է երեք ազդանշանները և yes, no և բացակայող դեպքերը։

Այն ավարտվում է մեծատառերով նախադասությամբ, որը նշում է, որ content signals-ով արտահայտված ցանկացած սահմանափակում իրավունքների հստակ վերապահում է թվային միասնական շուկայում հեղինակային իրավունքի մասին ԵՄ 2019/790 դիրեկտիվի 4-րդ հոդվածի համաձայն։ Cloudflare-ի հայտարարությունը հավելում է, որ ազդանշանները տարբեր իրավազորություններում կարող են իրավական կշիռ ունենալ։

contentsignals.org-ն ինքը զգուշացնում է, որ դատարանները և կարգավորողները կարող են եզրակացնել, որ robots.txt ֆայլերը չեն ստեղծում կատարման ենթակա իրավական պարտավորություններ, և խորհուրդ է տալիս դիմել իրավաբանի։ Մեկնաբանությունների բլոկը դիտարկեք որպես ձեր դիրքորոշման գրավոր հայտարարություն, ոչ թե պայմանագիր։

Content-Signal-ն արդեն կա՞ իմ robots.txt-ում

Եթե ձեր կայքը Cloudflare-ում է, կարող է լինել՝ երկու եղանակներից մեկով.

use=reference մասը նոր է։ Cloudflare-ը use-ը նկարագրում է որպես ոչ պարտադիր չորրորդ դաշտ, որը փորձարկում է, երեք արժեքով. immediate (փոխազդել, բայց ոչինչ չպահել և չվերօգտագործել), reference (ինդեքսավորել, մեջբերել հատված և հղվել աղբյուրին) և full (ամփոփել և վերարտադրել)։ Այն սկզբնական երեք ազդանշաններից չէ, և մեր ստուգած ռոբոտների փաստաթղթերից ոչ մեկն այն չի նշում։

Քանի որ Cloudflare-ն այս տողերն ավելացնում է edge-ում, ձեր ռեպոզիտորիայի ֆայլը կարող է անփոփոխ թվալ, մինչդեռ ռոբոտների ստացած ֆայլը տարբեր է։ Ձեր սեփական տողն ավելացնելուց առաջ բեռնեք գործող https://yourdomain.com/robots.txt-ը, որպեսզի պատասխանը երկու տարբեր քաղաքականություն չնշի։

Խոշոր կայքերի շրջանում տարածվածությունը դեռ ցածր է։ Ամենահայտնի 1 000 դոմենների մեր 2026 թ. նոյեմբերի ուսումնասիրության մեջ robots.txt մատուցող 518 կայքերից 18-ը (3,5%) օգտագործում էին Content-Signal։

AI ռոբոտները հետևո՞ւմ են Content-Signal-ին

Ըստ մեր գտած որևէ փաստաթղթի՝ ոչ։ 2026 թ. նոյեմբերի 17-ին մենք ստուգեցինք OpenAI-ի, Anthropic-ի, Google-ի և Perplexity-ի ռոբոտների էջերը, և դրանցից ոչ մեկը չի նշում Content-Signal։ Cloudflare-ն ինքը ազդանշանները նկարագրում է որպես նախընտրություններ, ոչ թե scraping-ի դեմ տեխնիկական միջոցներ, և ասում է, որ որոշ ընկերություններ կարող են պարզապես անտեսել դրանք։

Փոխարենը AI ընկերությունները փաստաթղթավորել են առանձին մեխանիզմ՝ հիմնված IETF-ի AI Preferences աշխատանքային խմբի աշխատանքի վրա. քաղաքականության նշան՝ __usage_ai-training, որը գրվում է որպես սովորական User-Agent խումբ։ Այն ընդգրկում է միայն ուսուցումը, և այն սահմանող Internet-Draft-ն ասում է, որ User-Agent: * խումբը չի համարվում նշանի օգտագործում.

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Աջակցությունն անհավասար է և մասամբ դեռ առջևում է։ Anthropic-ն ասում է, որ 2026 թ. հոկտեմբերի 30-ից ճանաչում է ուսուցման ընդհանուր մեքենայաընթեռնելի ազդանշանը, աստիճանաբար է ներդնում այն, և որ ClaudeBot-ին անվանող կանոնը գերակայում է դրա նկատմամբ։ Microsoft-ը փաստաթղթավորում է __usage_ai-training նշանը Bing-ի համար, և նրա նոր նախընտրություններն ուժի մեջ են մտնում, երբ էջերը շրջանցվում են 2027 թ. փետրվարի 1-ից։ Google-ն ասում է, որ նպատակ ունի աջակցել ընդհանուր կարգավորմանը 2027-ին և պլանավորում է դրա միջոցով ուսուցումից հրաժարումը դիտարկել որպես Google-Extended-ի արգելում, երբ այդ նշանը նշված չէ։ OpenAI-ն նույն օրը հրապարակեց հայտարարություն, որ կհարգի ընդհանուր ազդանշանը, առանց ամսաթվի։

Այսպիսով, ai-train=no-ն և __usage_ai-training-ը նման բաներ են ասում, բայց միայն երկրորդն ունի AI ընկերությունների փաստաթղթավորված աջակցություն։ Ըստ ռոբոտի նշանները, ինչպիսիք են GPTBot-ը և ClaudeBot-ը, մնում են այն կարգավորումները, որոնք յուրաքանչյուր մատակարար կիրառում է այսօր։

Արժե՞ ավելացնել Content-Signal իմ robots.txt-ում

Ավելացրեք այն, եթե ուզում եք ձեր օգտագործման քաղաքականությունը գրված լինի մեկ տեղում, որը կարող են կարդալ և՛ մեքենաները, և՛ մարդիկ։ Այն նաև մեկ տողով նշում է ai-input նախընտրություն բոլոր ռոբոտների համար, ինչը մատակարարների նշանները կարող են արտահայտել միայն ռոբոտ առ ռոբոտ։ Այն արժե մեկ տող, և այն չճանաչող վերլուծիչները բաց են թողնում այն։

Մի հենվեք միայն դրա վրա։ Բովանդակությունն ուսուցումից դուրս պահելու համար արգելեք նաև փաստաթղթավորված ուսուցման նշանները և դիտարկեք ուսուցման ընդհանուր նշանը. AI ուսուցումն արգելափակելու և AI որոնման մեջ մնալու մեր ուղեցույցը թվարկում է նշաններն ըստ մատակարարի։ Այն ամենի համար, ինչ անտեսում է robots.txt-ը, արգելափակումը ապահովում է միայն ֆայրվոլի կանոնը։

Վերջապես, ստուգեք, որ տողը համաձայնեցված է ֆայլի մնացած մասի հետ։ ai-input=no-ն OAI-SearchBot-ի կամ PerplexityBot-ի համար Allow խմբի կողքին հակասական ազդանշաններ է ուղարկում. դուք ներս եք թողնում AI որոնողական ռոբոտներին և միաժամանակ ասում, որ նրանց պատասխանները չեն կարող օգտագործել այն, ինչ նրանք բեռնում են։

Ինչպե՞ս ստուգել, թե ինչ է ասում իմ robots.txt-ը յուրաքանչյուր ռոբոտի

AISeeWhy-ի անվճար robots.txt ստուգիչը ընդունում է էջի հասցե կամ տեղադրված robots.txt և ցույց է տալիս, յուրաքանչյուր AI և որոնողական ռոբոտի համար, թե արդյոք այդ էջը կարող է բեռնվել, որպեսզի հաստատեք, որ գործող ֆայլը, ներառյալ Cloudflare-ի սկզբում ավելացրածը, ասում է այն, ինչ նկատի ունեիք։ Անվճար robots.txt գեներատորը ֆայլ է գրում ձեր ընտրություններից։

Անվճար գործիքներ

Հաջորդ քայլերը

Այս հոդվածում նշված ռոբոտները

Հաճախ տրվող հարցեր

Content-Signal-ը robots.txt-ի ստանդարտի մա՞սն է

Ոչ։ RFC 9309-ը սահմանում է User-agent, Allow և Disallow և թույլ է տալիս ռոբոտներին մեկնաբանել այլ գրառումներ։ Content-Signal-ը գալիս է Cloudflare-ի Content Signals Policy-ից, որը թողարկվել է CC0 լիցենզիայով։ Առանձին, IETF-ի AI Preferences աշխատանքային խումբը մշակում է robots.txt-ի իր սեփական Content-Usage կանոնը, որը դեռ Internet-Draft է, ոչ թե ստանդարտ։

ai-train=no-ն կանգնեցնո՞ւմ է GPTBot-ին կամ ClaudeBot-ին

Ոչ, որքանով որ փաստաթղթավորում են մատակարարները։ OpenAI-ն և Anthropic-ը նկարագրում են կառավարում robots.txt-ի կանոններով, որոնք անվանում են GPTBot-ին և ClaudeBot-ին, և ռոբոտների էջերից ոչ մեկը չի նշում Content-Signal։ Նրանցից որևէ մեկի մոտ ուսուցումից հրաժարվելու համար արգելեք նշանն անունով։

Ո՞րն է տարբերությունը Content-Signal-ի և __usage_ai-training-ի միջև

Content-Signal-ը տող է խմբի ներսում և ընդգրկում է որոնումը, AI մուտքը և ուսուցումը։ __usage_ai-training-ը քաղաքականության նշան է, որն օգտագործվում է որպես առանձին User-Agent խումբ, և ընդգրկում է միայն ուսուցումը։ Anthropic-ը, Microsoft-ը, Google-ը և OpenAI-ն հայտարարություններ են հրապարակել ուսուցման ընդհանուր ազդանշանի մասին. նրանցից ոչ մեկը չի փաստաթղթավորում Content-Signal-ը։

Ինչո՞ւ է Google Search Console-ն ասում Syntax not understood

Google-ի robots.txt-ի փաստաթղթերն աջակցում են միայն user-agent, allow, disallow և sitemap, ուստի այլ տողեր կարող են նշվել։ Cloudflare-ն ասում է, որ այս հաղորդումներից ազդեցություն շրջանցման արագության կամ SEO-ի վրա չի նկատել։

Ի՞նչ է նշանակում use=reference

Դա չորրորդ դաշտ է, որը փորձարկում է Cloudflare-ը։ reference-ը նշանակում է ինդեքսավորել, մեջբերել հատված և հղվել աղբյուրին։ Cloudflare-ն այն ավելացնում է կառավարվող robots.txt ֆայլերում, և մեր ստուգած ռոբոտների փաստաթղթերից ոչ մեկն այն չի նշում։

Աղբյուրներ

Այլ հոդվածներ