Ի՞նչ է Content-Signal-ը robots.txt-ում, և հետևո՞ւմ է արդյոք որևէ մեկը դրան
Content-Signal-ը robots.txt-ի ոչ պարտադիր տող է, որը հրապարակել է Cloudflare-ը և որը նշում է, թե ինչպես կարող է օգտագործվել ձեր բովանդակությունը բեռնվելուց հետո. search՝ որոնման արդյունքների համար, ai-input՝ AI պատասխաններին փոխանցելու համար և ai-train՝ մոդելների ուսուցման համար, յուրաքանչյուրը yes կամ no արժեքով, ինչպես Content-Signal: search=yes, ai-input=yes, ai-train=no-ում։ Այն արտահայտում է նախընտրություն և ոչինչ չի արգելափակում։ 2026 թ. նոյեմբերի դրությամբ OpenAI-ի, Anthropic-ի, Google-ի կամ Perplexity-ի ռոբոտների էջերից ոչ մեկը չի ասում, որ կարդում է այն, մինչդեռ խոշոր AI ընկերությունները փոխարենը աջակցել են մեկ այլ նշանի, որը վերաբերում է միայն ուսուցմանը։
robots.txt-ը ստեղծվել է ասելու համար, թե ուր կարող է գնալ ռոբոտը, ոչ թե ինչ կարելի է անել նրա կարդացածի հետ։ Երբ նույն բեռնումը կարող էր սնել որոնողական ինդեքսը, կենդանի AI պատասխանը և ուսուցման հավաքածուն, այդ բացը կարևոր դարձավ։ Cloudflare-ը այն լրացնելու համար 2025 թ. սեպտեմբերի 24-ին CC0 լիցենզիայով հրապարակեց Content Signals Policy-ն և այն ժամանակ ասաց, որ իր հաճախորդներն արդեն միացրել են կառավարվող robots.txt-ը ավելի քան 3,8 միլիոն դոմենի համար. այդ գործառույթն այժմ ավելացնում է տողը նրանց փոխարեն։
Այս էջում
- Ի՞նչ են նշանակում search, ai-input և ai-train
- Ինչպե՞ս գրել Content-Signal տող robots.txt-ում
- Ի՞նչ է ասում տողի վերևում գտնվող քաղաքականության տեքստը
- Content-Signal-ն արդեն կա՞ իմ robots.txt-ում
- AI ռոբոտները հետևո՞ւմ են Content-Signal-ին
- Արժե՞ ավելացնել Content-Signal իմ robots.txt-ում
- Ինչպե՞ս ստուգել, թե ինչ է ասում իմ robots.txt-ը յուրաքանչյուր ռոբոտի
Ի՞նչ են նշանակում search, ai-input և ai-train
Քաղաքականությունը սահմանում է երեք ազդանշան։ Ստորև ձևակերպումը հետևում է contentsignals.org-ին և Cloudflare-ի հրապարակած քաղաքականության տեքստին.
search. որոնողական ինդեքսի կառուցում և որոնման արդյունքների տրամադրում, օրինակ՝ ձեր էջերից հիպերհղումների և կարճ հատվածների վերադարձ։ Սահմանումն ասում է, որ search-ը չի ներառում AI-ով ստեղծված որոնման ամփոփումները։ai-input. բովանդակության մուտքագրում մեկ կամ մի քանի AI մոդելների մեջ, օրինակ՝ retrieval augmented generation, grounding կամ բովանդակության այլ իրական ժամանակի օգտագործում գեներատիվ AI որոնման պատասխանների համար։ai-train. AI մոդելների ուսուցում կամ fine-tuning։
Յուրաքանչյուր ազդանշան ընդունում է yes կամ no։ Քաղաքականության տերմիններով yes-ը նշանակում է, որ բովանդակությունը կարող է հավաքվել այդ օգտագործման համար, no-ն՝ որ չի կարող, իսկ բաց թողնված ազդանշանը ոչ թույլատրում է, ոչ էլ սահմանափակում այդ օգտագործումը։ Cloudflare-ի լռելյայն կարգավորումը սահմանում է search-ը և ai-train-ը և ai-input-ը թողնում է չսահմանված, քանի որ, իր խոսքով, չգիտի յուրաքանչյուր հաճախորդի նախընտրությունն այդ ազդանշանի համար և չի ուզում գուշակել։
search-ի և ai-input-ի բաժանումն այն է, որ մարդկանց մեծ մասը բաց է թողնում։ Եթե ուզում եք, որ ձեր էջերն օգտագործվեն AI պատասխաններում, միայն search=yes-ը դա չի ասում։ ai-input=yes-ը ասում է։
Ինչպե՞ս գրել Content-Signal տող robots.txt-ում
Content-Signal-ը գրվում է user agent խմբի ներսում՝ Allow-ի և Disallow-ի կողքին, ազդանշանները ստորակետերով բաժանված։ contentsignals.org-ը ցույց է տալիս նաև ճանապարհով սկսվող ձև, որպեսզի կայքի մեկ բաժինը կարողանա կրել մնացածից տարբեր ազդանշաններ.
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow-ը և Disallow-ը շարունակում են աշխատել ճիշտ ինչպես առաջ, և Content-Signal-ը դրանք չի փոխարինում։ RFC 9309-ը ռոբոտներին թույլ է տալիս մեկնաբանել արձանագրության մաս չկազմող գրառումներ, քանի դեռ դա չի խանգարում սահմանված կանոններին, ուստի այս տողը չճանաչող վերլուծիչը պետք է բաց թողնի այն։
Երկու մանրուք արժե իմանալ։ Նախ, տողը պատկանում է խմբին։ Ըստ RFC 9309-ի՝ ռոբոտը, որն ունի իր անունով խումբ, ամբողջությամբ անտեսում է User-agent: * խումբը, և Content Signals-ի էջերը այս տողի համար որևէ բացառություն չեն նկարագրում։ Եթե Googlebot-ին կամ OAI-SearchBot-ին տալիս եք առանձին խումբ, կրկնեք Content-Signal տողն այնտեղ, ինչպես անում է contentsignals.org-ը ըստ ռոբոտի իր օրինակում։ Երկրորդ, Google Search Console-ը տողի համար կարող է հաղորդել Syntax not understood։ Cloudflare-ի փաստաթղթերը նշում են սա և ասում, որ ազդեցություն շրջանցման կամ SEO-ի վրա չի նկատվել։ Google-ի robots.txt-ի փաստաթղթերը որպես աջակցվող դաշտեր թվարկում են միայն user-agent, allow, disallow և sitemap։
Ի՞նչ է ասում տողի վերևում գտնվող քաղաքականության տեքստը
Content Signals Policy-ն ավելին է, քան մեկ տող։ contentsignals.org-ի Cloudflare-ի գեներատորը և նրա կառավարվող robots.txt-ը երկուսն էլ ազդանշանների վերևում տեղադրում են մեկնաբանությունների բլոկ։ Այն սկսվում է ասելով, որ կայք մուտք գործելու պայմանով դուք համաձայնում եք հետևել content signals-ին, ապա սահմանում է երեք ազդանշանները և yes, no և բացակայող դեպքերը։
Այն ավարտվում է մեծատառերով նախադասությամբ, որը նշում է, որ content signals-ով արտահայտված ցանկացած սահմանափակում իրավունքների հստակ վերապահում է թվային միասնական շուկայում հեղինակային իրավունքի մասին ԵՄ 2019/790 դիրեկտիվի 4-րդ հոդվածի համաձայն։ Cloudflare-ի հայտարարությունը հավելում է, որ ազդանշանները տարբեր իրավազորություններում կարող են իրավական կշիռ ունենալ։
contentsignals.org-ն ինքը զգուշացնում է, որ դատարանները և կարգավորողները կարող են եզրակացնել, որ robots.txt ֆայլերը չեն ստեղծում կատարման ենթակա իրավական պարտավորություններ, և խորհուրդ է տալիս դիմել իրավաբանի։ Մեկնաբանությունների բլոկը դիտարկեք որպես ձեր դիրքորոշման գրավոր հայտարարություն, ոչ թե պայմանագիր։
Content-Signal-ն արդեն կա՞ իմ robots.txt-ում
Եթե ձեր կայքը Cloudflare-ում է, կարող է լինել՝ երկու եղանակներից մեկով.
- Կառավարվող robots.txt։ Երբ Bot Preference Sync-ը միացված է, և AI Crawler and Agent access-ի առնվազն մեկ քաղաքականություն սահմանված է Block, Block on pages with ads կամ, Training-ի համար, Disallow, Cloudflare-ը ձեր սերվերի ուղարկած robots.txt-ի սկզբում ավելացնում է կառավարվող բլոկ։ Այն պարունակում է քաղաքականության տեքստը,
Content-signal: search=yes, ai-train=no, use=reference-ըUser-Agent: *-ի ներքո ևDisallow: /Amazonbot-ի,Applebot-Extended-ի,Bytespider-ի,CCBot-ի,ClaudeBot-ի,Google-Extended-ի,GPTBot-ի ևmeta-externalagent-ի համար։ - Ընդհանրապես robots.txt չկա։ Cloudflare-ն ասում է, որ Free պլանի դոմենները, որոնք չունեն իրենց սեփական robots.txt-ը և չեն օգտագործում կառավարվող գործառույթը, ցույց են տալիս Content Signals Policy-ն, երբ ռոբոտը հարցնում է
/robots.txt։ Այդ տարբերակը պարունակում է սահմանումները, բայց նախընտրություն չի նշում։
use=reference մասը նոր է։ Cloudflare-ը use-ը նկարագրում է որպես ոչ պարտադիր չորրորդ դաշտ, որը փորձարկում է, երեք արժեքով. immediate (փոխազդել, բայց ոչինչ չպահել և չվերօգտագործել), reference (ինդեքսավորել, մեջբերել հատված և հղվել աղբյուրին) և full (ամփոփել և վերարտադրել)։ Այն սկզբնական երեք ազդանշաններից չէ, և մեր ստուգած ռոբոտների փաստաթղթերից ոչ մեկն այն չի նշում։
Քանի որ Cloudflare-ն այս տողերն ավելացնում է edge-ում, ձեր ռեպոզիտորիայի ֆայլը կարող է անփոփոխ թվալ, մինչդեռ ռոբոտների ստացած ֆայլը տարբեր է։ Ձեր սեփական տողն ավելացնելուց առաջ բեռնեք գործող https://yourdomain.com/robots.txt-ը, որպեսզի պատասխանը երկու տարբեր քաղաքականություն չնշի։
Խոշոր կայքերի շրջանում տարածվածությունը դեռ ցածր է։ Ամենահայտնի 1 000 դոմենների մեր 2026 թ. նոյեմբերի ուսումնասիրության մեջ robots.txt մատուցող 518 կայքերից 18-ը (3,5%) օգտագործում էին Content-Signal։
AI ռոբոտները հետևո՞ւմ են Content-Signal-ին
Ըստ մեր գտած որևէ փաստաթղթի՝ ոչ։ 2026 թ. նոյեմբերի 17-ին մենք ստուգեցինք OpenAI-ի, Anthropic-ի, Google-ի և Perplexity-ի ռոբոտների էջերը, և դրանցից ոչ մեկը չի նշում Content-Signal։ Cloudflare-ն ինքը ազդանշանները նկարագրում է որպես նախընտրություններ, ոչ թե scraping-ի դեմ տեխնիկական միջոցներ, և ասում է, որ որոշ ընկերություններ կարող են պարզապես անտեսել դրանք։
Փոխարենը AI ընկերությունները փաստաթղթավորել են առանձին մեխանիզմ՝ հիմնված IETF-ի AI Preferences աշխատանքային խմբի աշխատանքի վրա. քաղաքականության նշան՝ __usage_ai-training, որը գրվում է որպես սովորական User-Agent խումբ։ Այն ընդգրկում է միայն ուսուցումը, և այն սահմանող Internet-Draft-ն ասում է, որ User-Agent: * խումբը չի համարվում նշանի օգտագործում.
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Աջակցությունն անհավասար է և մասամբ դեռ առջևում է։ Anthropic-ն ասում է, որ 2026 թ. հոկտեմբերի 30-ից ճանաչում է ուսուցման ընդհանուր մեքենայաընթեռնելի ազդանշանը, աստիճանաբար է ներդնում այն, և որ ClaudeBot-ին անվանող կանոնը գերակայում է դրա նկատմամբ։ Microsoft-ը փաստաթղթավորում է __usage_ai-training նշանը Bing-ի համար, և նրա նոր նախընտրություններն ուժի մեջ են մտնում, երբ էջերը շրջանցվում են 2027 թ. փետրվարի 1-ից։ Google-ն ասում է, որ նպատակ ունի աջակցել ընդհանուր կարգավորմանը 2027-ին և պլանավորում է դրա միջոցով ուսուցումից հրաժարումը դիտարկել որպես Google-Extended-ի արգելում, երբ այդ նշանը նշված չէ։ OpenAI-ն նույն օրը հրապարակեց հայտարարություն, որ կհարգի ընդհանուր ազդանշանը, առանց ամսաթվի։
Այսպիսով, ai-train=no-ն և __usage_ai-training-ը նման բաներ են ասում, բայց միայն երկրորդն ունի AI ընկերությունների փաստաթղթավորված աջակցություն։ Ըստ ռոբոտի նշանները, ինչպիսիք են GPTBot-ը և ClaudeBot-ը, մնում են այն կարգավորումները, որոնք յուրաքանչյուր մատակարար կիրառում է այսօր։
Արժե՞ ավելացնել Content-Signal իմ robots.txt-ում
Ավելացրեք այն, եթե ուզում եք ձեր օգտագործման քաղաքականությունը գրված լինի մեկ տեղում, որը կարող են կարդալ և՛ մեքենաները, և՛ մարդիկ։ Այն նաև մեկ տողով նշում է ai-input նախընտրություն բոլոր ռոբոտների համար, ինչը մատակարարների նշանները կարող են արտահայտել միայն ռոբոտ առ ռոբոտ։ Այն արժե մեկ տող, և այն չճանաչող վերլուծիչները բաց են թողնում այն։
Մի հենվեք միայն դրա վրա։ Բովանդակությունն ուսուցումից դուրս պահելու համար արգելեք նաև փաստաթղթավորված ուսուցման նշանները և դիտարկեք ուսուցման ընդհանուր նշանը. AI ուսուցումն արգելափակելու և AI որոնման մեջ մնալու մեր ուղեցույցը թվարկում է նշաններն ըստ մատակարարի։ Այն ամենի համար, ինչ անտեսում է robots.txt-ը, արգելափակումը ապահովում է միայն ֆայրվոլի կանոնը։
Վերջապես, ստուգեք, որ տողը համաձայնեցված է ֆայլի մնացած մասի հետ։ ai-input=no-ն OAI-SearchBot-ի կամ PerplexityBot-ի համար Allow խմբի կողքին հակասական ազդանշաններ է ուղարկում. դուք ներս եք թողնում AI որոնողական ռոբոտներին և միաժամանակ ասում, որ նրանց պատասխանները չեն կարող օգտագործել այն, ինչ նրանք բեռնում են։
Ինչպե՞ս ստուգել, թե ինչ է ասում իմ robots.txt-ը յուրաքանչյուր ռոբոտի
AISeeWhy-ի անվճար robots.txt ստուգիչը ընդունում է էջի հասցե կամ տեղադրված robots.txt և ցույց է տալիս, յուրաքանչյուր AI և որոնողական ռոբոտի համար, թե արդյոք այդ էջը կարող է բեռնվել, որպեսզի հաստատեք, որ գործող ֆայլը, ներառյալ Cloudflare-ի սկզբում ավելացրածը, ասում է այն, ինչ նկատի ունեիք։ Անվճար robots.txt գեներատորը ֆայլ է գրում ձեր ընտրություններից։
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
Content-Signal-ը robots.txt-ի ստանդարտի մա՞սն է
Ոչ։ RFC 9309-ը սահմանում է User-agent, Allow և Disallow և թույլ է տալիս ռոբոտներին մեկնաբանել այլ գրառումներ։ Content-Signal-ը գալիս է Cloudflare-ի Content Signals Policy-ից, որը թողարկվել է CC0 լիցենզիայով։ Առանձին, IETF-ի AI Preferences աշխատանքային խումբը մշակում է robots.txt-ի իր սեփական Content-Usage կանոնը, որը դեռ Internet-Draft է, ոչ թե ստանդարտ։
ai-train=no-ն կանգնեցնո՞ւմ է GPTBot-ին կամ ClaudeBot-ին
Ոչ, որքանով որ փաստաթղթավորում են մատակարարները։ OpenAI-ն և Anthropic-ը նկարագրում են կառավարում robots.txt-ի կանոններով, որոնք անվանում են GPTBot-ին և ClaudeBot-ին, և ռոբոտների էջերից ոչ մեկը չի նշում Content-Signal։ Նրանցից որևէ մեկի մոտ ուսուցումից հրաժարվելու համար արգելեք նշանն անունով։
Ո՞րն է տարբերությունը Content-Signal-ի և __usage_ai-training-ի միջև
Content-Signal-ը տող է խմբի ներսում և ընդգրկում է որոնումը, AI մուտքը և ուսուցումը։ __usage_ai-training-ը քաղաքականության նշան է, որն օգտագործվում է որպես առանձին User-Agent խումբ, և ընդգրկում է միայն ուսուցումը։ Anthropic-ը, Microsoft-ը, Google-ը և OpenAI-ն հայտարարություններ են հրապարակել ուսուցման ընդհանուր ազդանշանի մասին. նրանցից ոչ մեկը չի փաստաթղթավորում Content-Signal-ը։
Ինչո՞ւ է Google Search Console-ն ասում Syntax not understood
Google-ի robots.txt-ի փաստաթղթերն աջակցում են միայն user-agent, allow, disallow և sitemap, ուստի այլ տողեր կարող են նշվել։ Cloudflare-ն ասում է, որ այս հաղորդումներից ազդեցություն շրջանցման արագության կամ SEO-ի վրա չի նկատել։
Ի՞նչ է նշանակում use=reference
Դա չորրորդ դաշտ է, որը փորձարկում է Cloudflare-ը։ reference-ը նշանակում է ինդեքսավորել, մեջբերել հատված և հղվել աղբյուրին։ Cloudflare-ն այն ավելացնում է կառավարվող robots.txt ֆայլերում, և մեր ստուգած ռոբոտների փաստաթղթերից ոչ մեկն այն չի նշում։
Աղբյուրներ
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI ռոբոտների հասանելիության հաշվետվություն, 2026-11