robots.txt dagi Content-Signal nima va unga kimdir amal qiladimi?
Content-Signal — Cloudflare eʼlon qilgan ixtiyoriy robots.txt qatori boʻlib, kontentingiz yuklangandan keyin qanday ishlatilishi mumkinligini bildiradi: qidiruv natijalari uchun search, AI javoblariga berish uchun ai-input va modellarni oʻqitish uchun ai-train, har biri yes yoki no qiymatida, masalan Content-Signal: search=yes, ai-input=yes, ai-train=no. U xohishni bildiradi va hech narsani bloklamaydi. 2026-yil noyabr holatiga koʻra OpenAI, Anthropic, Google yoki Perplexity krauler sahifalarining hech biri uni oʻqishini aytmaydi, yirik AI kompaniyalari esa uning oʻrniga boshqa, faqat oʻqitish uchun moʻljallangan tokenni qoʻllab-quvvatlagan.
robots.txt krauler qayerga kirishi mumkinligini aytish uchun yaratilgan, oʻqiganini nima qilish mumkinligini emas. Bir yuklash qidiruv indeksini, jonli AI javobini va oʻqitish toʻplamini birdan oziqlantira boshlaganda bu boʻshliq muhim boʻlib qoldi. Uni toʻldirish uchun Cloudflare 2025-yil 24-sentyabrda CC0 litsenziyasi ostida Content Signals Policy ni eʼlon qildi va oʻshanda mijozlari 3,8 milliondan ortiq domen uchun managed robots.txt ni allaqachon yoqqanini aytdi — bu funksiya endi ular uchun shu qatorni qoʻshadi.
Ushbu sahifada
- search, ai-input va ai-train nimani anglatadi?
- robots.txt ga Content-Signal qatorini qanday yozaman?
- Qator ustidagi siyosat matni nima deydi?
- Content-Signal robots.txt faylimda allaqachon bormi?
- AI kraulerlari Content-Signalʼga amal qiladimi?
- robots.txt faylimga Content-Signal qoʻshishim kerakmi?
- robots.txt faylim har bir kraulerga nima deyishini qanday tekshiraman?
search, ai-input va ai-train nimani anglatadi?
Siyosat uchta signalni belgilaydi. Quyidagi ifodalar contentsignals.org va Cloudflare eʼlon qilgan siyosat matniga tayanadi:
search: qidiruv indeksini yaratish va qidiruv natijalarini taqdim etish, masalan sahifalaringizga giperhavolalar va qisqa parchalarni qaytarish. Taʼrifda search AI yaratgan qidiruv xulosalarini oʻz ichiga olmasligi aytilgan.ai-input: kontentni bir yoki bir nechta AI modelga berish, masalan retrieval augmented generation, grounding yoki generativ AI qidiruv javoblari uchun kontentdan boshqa real vaqtda foydalanish.ai-train: AI modellarini oʻqitish yoki fine-tuning.
Har bir signal yes yoki no qiymatini oladi. Siyosat atamalarida yes kontentni shu maqsadda yigʻish mumkinligini, no mumkin emasligini bildiradi, siz tushirib qoldirgan signal esa bu foydalanishga na ruxsat beradi, na cheklaydi. Cloudflareʼning standart sozlamasi search va ai-trainni belgilaydi, ai-inputni esa boʻsh qoldiradi, chunki u har bir mijozning bu signal boʻyicha xohishini bilmasligini va taxmin qilishni istamasligini aytadi.
Koʻpchilik eʼtibordan chetda qoldiradigan narsa — search va ai-input farqi. Sahifalaringiz AI javoblarida ishlatilishini istasangiz, faqat search=yes buni aytmaydi. Buni ai-input=yes aytadi.
robots.txt ga Content-Signal qatorini qanday yozaman?
Content-Signal user agent guruhi ichida, Allow va Disallow yonida yoziladi, signallar vergul bilan ajratiladi. contentsignals.org yoʻl bilan boshlanadigan shaklni ham koʻrsatadi, shunda saytning bir boʻlimi qolganidan farqli signallarga ega boʻlishi mumkin:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow va Disallow avvalgidek ishlashda davom etadi, Content-Signal ularning oʻrnini bosmaydi. RFC 9309 kraulerlarga protokolga kirmaydigan yozuvlarni, agar bu belgilangan qoidalarga xalaqit bermasa, talqin qilishga ruxsat beradi, shuning uchun bu qatorni bilmaydigan parser uni oʻtkazib yuborishi kerak.
Ikki tafsilotni bilish foydali. Birinchidan, qator guruhga tegishli. RFC 9309 boʻyicha oʻz nomi bilan guruhi bor krauler User-agent: * guruhini butunlay eʼtiborsiz qoldiradi, Content Signals sahifalarida esa bu qator uchun hech qanday istisno tasvirlanmagan. Googlebot yoki OAI-SearchBotga alohida guruh bersangiz, Content-Signal qatorini u yerda takrorlang, contentsignals.org har bir krauler uchun misolida shunday qiladi. Ikkinchidan, Google Search Console bu qator uchun Syntax not understood deb koʻrsatishi mumkin. Cloudflare hujjatlarida bu tilga olingan va skanerlash yoki SEOʼga hech qanday taʼsir kuzatilmagani aytilgan. Googleʼning robots.txt hujjatlarida qoʻllab-quvvatlanadigan maydonlar sifatida faqat user-agent, allow, disallow va sitemap keltirilgan.
Qator ustidagi siyosat matni nima deydi?
Content Signals Policy bitta qatordan koʻproq. Cloudflareʼning contentsignals.org dagi generatori ham, managed robots.txt ham signallar ustiga izohlar blokini qoʻyadi. U saytga kirish sharti sifatida content signalsʼga rioya qilishga rozi boʻlishingizni aytish bilan boshlanadi, soʻng uchta signalni hamda yes, no va signal yoʻq holatlarini belgilaydi.
U katta harflar bilan yozilgan gap bilan tugaydi: content signals orqali bildirilgan har qanday cheklov Raqamli yagona bozorda mualliflik huquqi toʻgʻrisidagi EU Directive 2019/790 ning 4-moddasiga muvofiq huquqlarni aniq saqlab qolish hisoblanadi. Cloudflare eʼlonida signallar turli yurisdiksiyalarda huquqiy ahamiyatga ega boʻlishi mumkinligi ham qoʻshilgan.
contentsignals.org ning oʻzi sudlar va regulyatorlar robots.txt fayllari majburiy huquqiy majburiyat yuklamaydi, degan xulosaga kelishi mumkinligidan ogohlantiradi va yurist bilan maslahatlashishni tavsiya qiladi. Izohlar blokini shartnoma emas, pozitsiyangizning yozma bayonoti deb qabul qiling.
Content-Signal robots.txt faylimda allaqachon bormi?
Saytingiz Cloudflareʼda boʻlsa, ikki usuldan biri bilan boʻlishi mumkin:
- Managed robots.txt. Bot Preference Sync yoqilgan va kamida bitta AI Crawler and Agent access siyosati Block, Block on pages with ads yoki, Training uchun, Disallow qilib qoʻyilgan boʻlsa, Cloudflare serveringiz yuboradigan robots.txt boshiga managed blok qoʻshadi. Unda siyosat matni,
User-Agent: *ostidaContent-signal: search=yes, ai-train=no, use=referencehamdaAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotvameta-externalagentuchunDisallow: /boʻladi. - Umuman robots.txt yoʻq. Cloudflare aytishicha, Free tarifdagi oʻz robots.txt fayli boʻlmagan va managed funksiyadan foydalanmaydigan domenlar krauler
/robots.txtni soʻraganda Content Signals Policy ni koʻrsatadi. Bu versiyada taʼriflar bor, lekin hech qanday xohish bildirilmagan.
use=reference qismi yangi. Cloudflare useni oʻzi sinayotgan ixtiyoriy toʻrtinchi maydon deb tasvirlaydi, uning uchta qiymati bor: immediate (oʻzaro taʼsir qilish, lekin hech narsani saqlamaslik va qayta ishlatmaslik), reference (indekslash, parcha keltirish va orqaga havola berish) va full (xulosa qilish va qayta koʻpaytirish). Bu uchta asl signaldan biri emas va biz tekshirgan kraulerlar hujjatlarining hech birida tilga olinmagan.
Cloudflare bu qatorlarni edgeʼda qoʻshgani uchun repositoriyingizdagi fayl oʻzgarmagandek koʻrinishi mumkin, kraulerlar oladigan fayl esa boshqacha boʻladi. Oʻz qatoringizni qoʻshishdan oldin jonli https://yourdomain.com/robots.txt ni yuklang, shunda javobda ikki xil siyosat boʻlmaydi.
Yirik saytlar orasida qoʻllanilishi hali past. 2026-yil noyabrdagi eng mashhur 1000 ta domen boʻyicha tadqiqotimizda robots.txt bergan 518 ta saytdan 18 tasi (3,5%) Content-Signaldan foydalangan.
AI kraulerlari Content-Signalʼga amal qiladimi?
Biz topa olgan birorta hujjatga koʻra yoʻq. 2026-yil 17-noyabrda biz OpenAI, Anthropic, Google va Perplexity krauler sahifalarini tekshirdik, ularning hech biri Content-Signalni tilga olmaydi. Cloudflareʼning oʻzi signallarni scrapingʼga qarshi texnik choralar emas, xohishlar deb tasvirlaydi va baʼzi kompaniyalar ularni shunchaki eʼtiborsiz qoldirishi mumkinligini aytadi.
Buning oʻrniga AI kompaniyalari IETF AI Preferences ishchi guruhi ishiga asoslangan alohida mexanizmni hujjatlashtirgan: oddiy User-Agent guruhi sifatida yoziladigan __usage_ai-training siyosat tokeni. U faqat oʻqitishni qamraydi va uni belgilaydigan Internet-Draft User-Agent: * guruhi tokendan foydalanish hisoblanmasligini aytadi:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Qoʻllab-quvvatlash notekis va qisman hali oldinda. Anthropic 2026-yil 30-oktyabrdan umumiy, mashina oʻqiy oladigan oʻqitish signalini taniyotganini, uni bosqichma-bosqich joriy qilayotganini va ClaudeBotni nomlagan qoida undan ustun turishini aytadi. Microsoft Bing uchun __usage_ai-training tokenini hujjatlashtirgan, yangi xohishlar 2027-yil 1-fevraldan sahifalar skanerlanishi bilan kuchga kiradi. Google 2027-yilda umumiy boshqaruvni qoʻllab-quvvatlashni maqsad qilganini va Google-Extended nomlanmaganda u orqali oʻqitishdan voz kechishni shu token uchun taqiq sifatida koʻrishni rejalashtirayotganini aytadi. OpenAI oʻsha kuni umumiy signalga rioya qilishini aytgan eʼlonni sanasiz eʼlon qildi.
Demak, ai-train=no va __usage_ai-training oʻxshash narsani aytadi, lekin AI kompaniyalarining hujjatlashtirilgan qoʻllab-quvvatlashi faqat ikkinchisida bor. GPTBot va ClaudeBot kabi har bir kraulerning oʻz tokenlari har bir kompaniya bugun qoʻllaydigan boshqaruv vositalari boʻlib qolmoqda.
robots.txt faylimga Content-Signal qoʻshishim kerakmi?
Foydalanish siyosatingiz mashinalar ham, odamlar ham oʻqiy oladigan bir joyda yozilishini istasangiz, qoʻshing. U bitta qatorda har bir krauler uchun ai-input xohishini ham bildiradi, kompaniyalar tokenlari esa buni faqat har bir krauler uchun alohida ifodalay oladi. Narxi — bir qator, uni bilmaydigan parserlar esa oʻtkazib yuboradi.
Faqat unga tayanmang. Kontentni oʻqitishdan chetda saqlash uchun hujjatlashtirilgan oʻqitish tokenlarini ham taqiqlang va umumiy oʻqitish tokenini koʻrib chiqing; AI oʻqitishini bloklab, AI qidiruvida qolish boʻyicha qoʻllanmamiz har bir kompaniya tokenlarini sanab oʻtadi. robots.txt ga eʼtibor bermaydigan har qanday narsa uchun blokni faqat firewall qoidasi amalga oshiradi.
Nihoyat, qator faylning qolgan qismiga mos kelishini tekshiring. OAI-SearchBot yoki PerplexityBot uchun Allow guruhi yonidagi ai-input=no qarama-qarshi xabar beradi: siz AI qidiruv kraulerlarini kiritasiz-u, ularning javoblari yuklagan narsasidan foydalana olmasligini aytasiz.
robots.txt faylim har bir kraulerga nima deyishini qanday tekshiraman?
AISeeWhyʼning bepul robots.txt tekshiruvi sahifa manzilini yoki joylashtirilgan robots.txt ni qabul qiladi va har bir AI va qidiruv krauleri uchun shu sahifani yuklash mumkinligini koʻrsatadi, shunda jonli fayl, Cloudflare boshiga qoʻshgan narsalar bilan birga, siz nazarda tutgan narsani aytishini tasdiqlay olasiz. Bepul robots.txt generatori tanlovlaringiz asosida fayl yozadi.
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Ushbu maqoladagi kraulerlar
Koʻp beriladigan savollar
Content-Signal robots.txt standartining bir qismimi?
Yoʻq. RFC 9309 User-agent, Allow va Disallowni belgilaydi va kraulerlarga boshqa yozuvlarni talqin qilishga ruxsat beradi. Content-Signal Cloudflareʼning CC0 litsenziyasi ostida chiqarilgan Content Signals Policy siyosatidan kelib chiqadi. Alohida tarzda IETF AI Preferences ishchi guruhi robots.txt uchun oʻzining Content-Usage qoidasini ishlab chiqmoqda, u hali standart emas, Internet-Draft.
ai-train=no GPTBot yoki ClaudeBotʼni toʻxtatadimi?
Kompaniyalar hujjatlashtirgan darajada yoʻq. OpenAI va Anthropic boshqaruvni GPTBot va ClaudeBotni nomlaydigan robots.txt qoidalari orqali tasvirlaydi va ikkala krauler sahifasida ham Content-Signal tilga olinmagan. Ulardan birining oʻqitishidan voz kechish uchun tokenni nomi bilan taqiqlang.
Content-Signal va __usage_ai-training oʻrtasidagi farq nima?
Content-Signal guruh ichidagi qator boʻlib, qidiruv, AI kirishi va oʻqitishni qamraydi. __usage_ai-training oʻz User-Agent guruhi sifatida ishlatiladigan siyosat tokeni boʻlib, faqat oʻqitishni qamraydi. Anthropic, Microsoft, Google va OpenAI umumiy oʻqitish signali haqida bayonot eʼlon qilgan; ularning hech biri Content-Signalni hujjatlashtirmaydi.
Nega Google Search Console Syntax not understood deydi?
Googleʼning robots.txt hujjatlari faqat user-agent, allow, disallow va sitemapni qoʻllab-quvvatlaydi, shuning uchun boshqa qatorlar belgilanishi mumkin. Cloudflare bu xabarlardan skanerlash tezligi yoki SEOʼga hech qanday taʼsir kuzatmaganini aytadi.
use=reference nimani anglatadi?
Bu Cloudflare sinayotgan toʻrtinchi maydon. reference indekslash, parcha keltirish va orqaga havola berishni anglatadi. Cloudflare uni managed robots.txt fayllariga qoʻshadi va biz tekshirgan birorta krauler hujjatida u tilga olinmagan.
Manbalar
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI kraulerlari kirishi boʻyicha hisobot, 2026-11