robots.txt-тегі Content-Signal деген не және оны біреу орындай ма?
Content-Signal — Cloudflare жариялаған robots.txt-тің міндетті емес жолы, ол мазмұныңызды алынғаннан кейін қалай пайдалануға болатынын айтады: search іздеу нәтижелері үшін, ai-input ЖИ жауаптарына беру үшін және ai-train модельдерді оқыту үшін, әрқайсысы yes немесе no мәнімен, мысалы Content-Signal: search=yes, ai-input=yes, ai-train=no. Ол қалауды білдіреді және ештеңені бұғаттамайды. 2026 жылғы қарашадағы жағдай бойынша OpenAI, Anthropic, Google немесе Perplexity краулер беттерінің ешқайсысы оны оқитынын айтпайды, ал ірі ЖИ компаниялары оның орнына тек оқытуға арналған басқа токенді қолдады.
robots.txt краулер қайда бара алатынын айту үшін жасалған, оқығанымен не істеуге болатынын айту үшін емес. Бір сұрау іздеу индексін де, нақты уақыттағы ЖИ жауабын да, оқыту жиынын да толтыра алатын болғанда, бұл олқылық маңызды болды. Оны толтыру үшін Cloudflare 2025 жылғы 24 қыркүйекте Content Signals Policy-ді CC0 лицензиясымен жариялады және сол кезде оның клиенттері басқарылатын robots.txt-ті 3,8 миллионнан астам доменде қосып қойғанын айтты; бұл функция енді олар үшін осы жолды қосады.
Осы бетте
- search, ai-input және ai-train нені білдіреді?
- robots.txt-ке Content-Signal жолын қалай жазамын?
- Жолдың үстіндегі саясат мәтіні не дейді?
- Content-Signal robots.txt-те бар ма?
- ЖИ краулерлері Content-Signal-ды орындай ма?
- robots.txt-ке Content-Signal қосу керек пе?
- robots.txt әр краулерге не айтатынын қалай тексеремін?
search, ai-input және ai-train нені білдіреді?
Саясат үш сигналды анықтайды. Төмендегі тұжырымдар contentsignals.org және Cloudflare жариялайтын саясат мәтініне сүйенеді:
search: іздеу индексін құру және іздеу нәтижелерін беру, мысалы гиперсілтемелер мен беттеріңізден қысқа үзінділерді қайтару. Анықтама бойынша search ЖИ жасаған іздеу қорытындыларын қамтымайды.ai-input: мазмұнды бір немесе бірнеше ЖИ моделіне беру, мысалы retrieval augmented generation, grounding немесе генеративтік ЖИ іздеу жауаптары үшін мазмұнды нақты уақытта басқаша пайдалану.ai-train: ЖИ модельдерін оқыту немесе fine-tuning.
Әр сигнал yes немесе no мәнін алады. Саясат терминдерінде yes мазмұнды сол мақсатта жинауға болатынын, no болмайтынын білдіреді, ал сіз жазбаған сигнал ол пайдалануға рұқсат та бермейді, шектемейді де. Cloudflare-дің әдепкі баптауы search пен ai-train мәндерін қояды да, ai-input мәнін қоймайды, өйткені ол әр клиенттің бұл сигнал бойынша қалауын білмейтінін және болжағысы келмейтінін айтады.
search пен ai-input арасындағы айырманы көбі байқамай қалады. Беттеріңіздің ЖИ жауаптарында пайдаланылғанын қаласаңыз, тек search=yes мұны айтпайды. Мұны ai-input=yes айтады.
robots.txt-ке Content-Signal жолын қалай жазамын?
Content-Signal user agent тобының ішіне, Allow және Disallow жанына жазылады, сигналдар үтірмен бөлінеді. contentsignals.org жолдан басталатын пішінді де көрсетеді, сондықтан сайттың бір бөлігі қалғанынан өзгеше сигналдарға ие бола алады:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow пен Disallow бұрынғыдай жұмыс істей береді, ал Content-Signal оларды алмастырмайды. RFC 9309 краулерлерге анықталған ережелерге кедергі келтірмесе, хаттамаға кірмейтін жазбаларды түсіндіруге мүмкіндік береді, сондықтан бұл жолды білмейтін талдағыш оны өткізіп жіберуі керек.
Екі егжей-тегжейді білген жөн. Біріншіден, жол топқа тиесілі. RFC 9309 бойынша өз атымен аталған тобы бар краулер User-agent: * тобын толығымен елемейді, ал Content Signals беттері бұл жол үшін ешқандай ерекшелік сипаттамайды. Googlebot немесе OAI-SearchBot үшін жеке топ берсеңіз, contentsignals.org әр краулерге арналған мысалында жасағандай, Content-Signal жолын сонда да қайталаңыз. Екіншіден, Google Search Console бұл жол үшін Syntax not understood деп хабарлауы мүмкін. Cloudflare құжаттамасы мұны атап, жинауға немесе SEO-ға ешқандай әсер байқалмағанын айтады. Google-дың robots.txt құжаттамасы қолдау көрсетілетін өрістер ретінде тек user-agent, allow, disallow және sitemap атайды.
Жолдың үстіндегі саясат мәтіні не дейді?
Content Signals Policy бір жолдан көп. Cloudflare-дің contentsignals.org-тағы генераторы да, оның басқарылатын robots.txt-і де сигналдардың үстіне түсініктемелер блогын қояды. Ол веб-сайтқа кіру шарты ретінде мазмұн сигналдарын орындауға келісетініңізді айтудан басталады, содан кейін үш сигналды және yes, no және жазылмаған жағдайларды анықтайды.
Ол бас әріптермен жазылған сөйлеммен аяқталады: мазмұн сигналдары арқылы білдірілген кез келген шектеу Цифрлық бірыңғай нарықтағы авторлық құқық туралы ЕО-ның 2019/790 Директивасының 4-бабына сәйкес құқықтарды айқын сақтау болып табылады. Cloudflare хабарландыруы сигналдардың әртүрлі юрисдикцияларда заңдық салмағы болуы мүмкін екенін қосады.
contentsignals.org-тың өзі соттар мен реттеушілер robots.txt файлдары заңды түрде орындалатын міндеттемелер жүктемейді деген қорытындыға келуі мүмкін екенін ескертіп, заңгермен кеңесуді ұсынады. Түсініктемелер блогын келісімшарт емес, ұстанымыңыздың жазбаша мәлімдемесі ретінде қарастырыңыз.
Content-Signal robots.txt-те бар ма?
Сайтыңыз Cloudflare-де болса, ол екі жолдың бірімен болуы мүмкін:
- Басқарылатын robots.txt. Bot Preference Sync қосулы болып, кемінде бір AI Crawler and Agent access саясаты Block, Block on pages with ads немесе Training үшін Disallow мәніне қойылса, Cloudflare серверіңіз жіберетін robots.txt-тің басына басқарылатын блок қосады. Онда саясат мәтіні,
User-Agent: *астындаContent-signal: search=yes, ai-train=no, use=reference, жәнеAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotжәнеmeta-externalagentүшінDisallow: /болады. - robots.txt мүлде жоқ. Cloudflare өз robots.txt-і жоқ және басқарылатын функцияны пайдаланбайтын Free тарифіндегі домендер краулер
/robots.txtсұрағанда Content Signals Policy-ді көрсететінін айтады. Бұл нұсқада анықтамалар бар, бірақ ешқандай қалау айтылмайды.
use=reference бөлігі жаңа. Cloudflare use өрісін өзі сынап жатқан міндетті емес төртінші өріс ретінде сипаттайды, оның үш мәні бар: immediate (әрекеттесу, бірақ ештеңені сақтамау және қайта пайдаланбау), reference (индекстеу, үзінді алу және бастапқы бетке сілтеме беру) және full (қорытындылау және қайта шығару). Ол үш бастапқы сигналдың бірі емес, және біз тексерген краулер құжаттамаларының ешқайсысы оны атамайды.
Cloudflare бұл жолдарды edge деңгейінде қосатындықтан, репозиторийдегі файл өзгермеген болып көрінуі мүмкін, ал краулерлер алатын файл басқаша болады. Өз жолыңызды қоспас бұрын жұмыс істеп тұрған https://yourdomain.com/robots.txt файлын алыңыз, сонда жауапта екі түрлі саясат болмайды.
Ірі сайттар арасында қолданылуы әлі төмен. 2026 жылғы қарашада ең танымал 1000 доменді зерттеуімізде robots.txt қайтарған 518 сайттың 18-і (3,5%) Content-Signal пайдаланған.
ЖИ краулерлері Content-Signal-ды орындай ма?
Біз тапқан құжаттамалар бойынша орындамайды. 2026 жылғы 17 қарашада OpenAI, Anthropic, Google және Perplexity краулер беттерін тексердік, олардың ешқайсысы Content-Signal туралы айтпайды. Cloudflare-дің өзі сигналдарды скрейпингке қарсы техникалық шара емес, қалау ретінде сипаттайды және кейбір компаниялар оларды жай елемеуі мүмкін екенін айтады.
Оның орнына ЖИ компаниялары IETF AI Preferences жұмыс тобының жұмысына негізделген бөлек тетікті құжаттады: кәдімгі User-Agent тобы ретінде жазылатын __usage_ai-training саясат токені. Ол тек оқытуды қамтиды, ал оны анықтайтын Internet-Draft User-Agent: * тобы токенді пайдалану болып саналмайтынын айтады:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Қолдау біркелкі емес және ішінара әлі алда. Anthropic 2026 жылғы 30 қазаннан бастап машина оқи алатын жалпы оқыту сигналын танитынын, оны біртіндеп енгізіп жатқанын және ClaudeBot аталған ереже одан басым екенін айтады. Microsoft Bing үшін __usage_ai-training токенін құжаттайды, оның жаңа баптаулары 2027 жылғы 1 ақпаннан бастап беттер жиналған сайын күшіне енеді. Google ортақ басқаруды 2027 жылы қолдауды көздейтінін және ол токен аталмаған жағдайда ол арқылы оқытудан бас тартуды Google-Extended тыйымы ретінде қарастыруды жоспарлайтынын айтады. OpenAI сол күні ортақ сигналды ескеретіні туралы хабарландыру жариялады, бірақ күнін көрсетпеді.
Сонымен ai-train=no мен __usage_ai-training ұқсас нәрсені айтады, бірақ ЖИ компанияларының құжатталған қолдауы тек екіншісінде бар. GPTBot және ClaudeBot сияқты жеке краулер токендері әр жеткізуші бүгін қолданатын басқару құралдары болып қала береді.
robots.txt-ке Content-Signal қосу керек пе?
Пайдалану саясатыңыздың машиналар да, адамдар да оқи алатын бір жерде жазылғанын қаласаңыз, қосыңыз. Ол сондай-ақ барлық краулерлер үшін ai-input қалауын бір жолда айтады, ал жеткізуші токендері мұны тек краулер бойынша бөлек білдіре алады. Ол бір жолға ғана тұрады, ал оны білмейтін талдағыштар оны өткізіп жібереді.
Тек соған сүйенбеңіз. Мазмұнды оқытудан тыс қалдыру үшін құжатталған оқыту токендеріне де тыйым салыңыз және ортақ оқыту токенін де қарастырыңыз; ЖИ іздеуде қалып, ЖИ оқытуды бұғаттау туралы нұсқаулығымыз токендерді жеткізуші бойынша тізеді. robots.txt-ті елемейтін кез келген нәрсе үшін бұғаттауды тек файрвол ережесі жүзеге асырады.
Соңында, жол файлдың қалған бөлігімен үйлесетінін тексеріңіз. OAI-SearchBot немесе PerplexityBot үшін Allow тобының жанындағы ai-input=no қарама-қайшы белгі береді: сіз ЖИ іздеу краулерлерін кіргізесіз, бірақ олардың жауаптары алған мазмұнды пайдалана алмайды дейсіз.
robots.txt әр краулерге не айтатынын қалай тексеремін?
Тегін AISeeWhy robots.txt тестері бет мекенжайын немесе қойылған robots.txt-ті алып, әр ЖИ және іздеу краулері үшін сол бетті алуға бола ма, соны көрсетеді, сондықтан жұмыс істеп тұрған файл, соның ішінде Cloudflare басына қосқанның бәрі, сіз ойлағанды айтатынына көз жеткізе аласыз. Тегін robots.txt генераторы таңдауларыңыз бойынша файл жазады.
Келесі қадамдар
- ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі
- Толық есептің мысалын қараңыз
- ЖИ краулерлерін бақылау
- Жоспарлар мен бағалар
Осы мақаладағы краулерлер
Жиі қойылатын сұрақтар
Content-Signal robots.txt стандартының бөлігі ме?
Жоқ. RFC 9309 User-agent, Allow және Disallow анықтайды және краулерлерге басқа жазбаларды түсіндіруге мүмкіндік береді. Content-Signal CC0 лицензиясымен шыққан Cloudflare-дің Content Signals Policy-інен шыққан. Бөлек, IETF AI Preferences жұмыс тобы robots.txt үшін өзінің Content-Usage ережесін әзірлеп жатыр, ол әлі стандарт емес, Internet-Draft.
ai-train=no GPTBot немесе ClaudeBot-ты тоқтата ма?
Жеткізушілер құжаттамасы бойынша тоқтатпайды. OpenAI мен Anthropic басқаруды GPTBot және ClaudeBot атайтын robots.txt ережелері арқылы сипаттайды, ал екі краулер бетінің ешқайсысы Content-Signal туралы айтпайды. Олардың кез келгенінде оқытудан бас тарту үшін токенге атымен тыйым салыңыз.
Content-Signal мен __usage_ai-training айырмашылығы неде?
Content-Signal — топ ішіндегі жол, ол іздеуді, ЖИ-ге беруді және оқытуды қамтиды. __usage_ai-training — өз User-Agent тобы ретінде пайдаланылатын саясат токені, ол тек оқытуды қамтиды. Anthropic, Microsoft, Google және OpenAI ортақ оқыту сигналы туралы мәлімдемелер жариялады; олардың ешқайсысы Content-Signal құжаттамайды.
Неге Google Search Console «Syntax not understood» дейді?
Google-дың robots.txt құжаттамасы тек user-agent, allow, disallow және sitemap өрістерін қолдайды, сондықтан басқа жолдар белгіленуі мүмкін. Cloudflare бұл хабарламалардан жинау жиілігіне немесе SEO-ға ешқандай әсер байқамағанын айтады.
use=reference нені білдіреді?
Бұл Cloudflare сынап жатқан төртінші өріс. reference индекстеуді, үзінді алуды және бастапқы бетке сілтеме беруді білдіреді. Cloudflare оны басқарылатын robots.txt файлдарына қосады, ал біз тексерген краулер құжаттамаларының ешқайсысы оны атамайды.
Дереккөздер
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: ЖИ краулерлерінің қолжетімділігі туралы есеп, 2026-11