robots.txt-də Content-Signal nədir və ona kimsə əməl edirmi?
Content-Signal Cloudflare-in dərc etdiyi, robots.txt-də istəyə bağlı sətirdir və məzmununuzun yükləndikdən sonra necə istifadə oluna biləcəyini bildirir: axtarış nəticələri üçün search, AI cavablarına ötürmək üçün ai-input və modelləri öyrətmək üçün ai-train, hər biri yes və ya no dəyəri ilə, məsələn Content-Signal: search=yes, ai-input=yes, ai-train=no. O, üstünlüyü ifadə edir və heç nəyi bloklamır. 2026-cı ilin noyabrına olan vəziyyətə görə OpenAI, Anthropic, Google və ya Perplexity bot səhifələrinin heç biri onu oxuduğunu demir, böyük AI şirkətləri isə əvəzində yalnız təlim üçün olan başqa tokeni dəstəkləyib.
robots.txt botun hara gedə biləcəyini demək üçün yaradılıb, oxuduğu ilə nə edilə biləcəyini demək üçün yox. Eyni yükləmə axtarış indeksini, canlı AI cavabını və təlim dəstini qidalandıra bildikdən sonra bu boşluq önəm qazandı. Cloudflare onu doldurmaq üçün Content Signals Policy-ni 24 sentyabr 2025-də CC0 lisenziyası ilə dərc etdi və o zaman bildirdi ki, müştəriləri artıq 3.8 milyondan çox domen üçün managed robots.txt-i aktivləşdirib; bu funksiya indi sətri onlar üçün əlavə edir.
Bu səhifədə
- search, ai-input və ai-train nə deməkdir?
- robots.txt-də Content-Signal sətrini necə yazım?
- Sətrin üstündəki siyasət mətni nə deyir?
- Content-Signal artıq robots.txt-imdə varmı?
- AI botları Content-Signal-a əməl edirmi?
- Content-Signal-ı robots.txt-imə əlavə etməliyəmmi?
- robots.txt-imin hər bota nə dediyini necə yoxlayım?
search, ai-input və ai-train nə deməkdir?
Siyasət üç siqnalı müəyyən edir. Aşağıdakı ifadələr contentsignals.org saytına və Cloudflare-in dərc etdiyi siyasət mətninə əsaslanır:
search: axtarış indeksi qurmaq və axtarış nəticələri təqdim etmək, məsələn səhifələrinizdən hiperkeçidlər və qısa fraqmentlər qaytarmaq. Tərifə görə search AI tərəfindən yaradılan axtarış xülasələrini əhatə etmir.ai-input: məzmunu bir və ya bir neçə AI modelinə ötürmək, məsələn retrieval augmented generation, grounding və ya generativ AI axtarış cavabları üçün məzmunun digər real vaxt istifadəsi.ai-train: AI modellərini öyrətmək və ya fine-tuning.
Hər siqnal yes və ya no dəyəri alır. Siyasətin ifadələrinə görə yes məzmunun həmin istifadə üçün toplana biləcəyini, no isə toplana bilməyəcəyini bildirir, buraxdığınız siqnal isə həmin istifadəyə nə icazə verir, nə də onu məhdudlaşdırır. Cloudflare-in defolt ayarı search və ai-train-i təyin edir, ai-input-u isə təyinsiz qoyur, çünki onun sözlərinə görə hər müştərinin bu siqnal üzrə üstünlüyünü bilmir və təxmin etmək istəmir.
Çoxlarının gözdən qaçırdığı search ilə ai-input arasındakı fərqdir. Səhifələrinizin AI cavablarında istifadə olunmasını istəyirsinizsə, təkcə search=yes bunu demir. Bunu ai-input=yes deyir.
robots.txt-də Content-Signal sətrini necə yazım?
Content-Signal user agent qrupunun içində, Allow və Disallow ilə yanaşı yazılır, siqnallar vergüllə ayrılır. contentsignals.org yolla (path) başlayan formanı da göstərir, beləliklə saytın bir bölməsi qalan hissədən fərqli siqnallar daşıya bilər:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow və Disallow əvvəlki kimi işləməyə davam edir və Content-Signal onları əvəz etmir. RFC 9309 botlara protokolun hissəsi olmayan qeydləri şərh etməyə icazə verir, bu, müəyyən edilmiş qaydalara mane olmadığı müddətcə; buna görə sətri tanımayan parser onu ötürməlidir.
Bilməyə dəyən iki detal var. Birincisi, sətir qrupa aiddir. RFC 9309-a görə öz adı ilə qrupu olan bot User-agent: * qrupunu tamamilə nəzərə almır və Content Signals səhifələri bu sətir üçün heç bir istisna təsvir etmir. Googlebot və ya OAI-SearchBot-a ayrıca qrup verirsinizsə, contentsignals.org-un hər bot üçün nümunəsində olduğu kimi Content-Signal sətrini orada təkrarlayın. İkincisi, Google Search Console bu sətir üçün Syntax not understood göstərə bilər. Cloudflare-in sənədləri bunu qeyd edir və skana və ya SEO-ya heç bir təsir müşahidə etmədiyini bildirir. Google-un robots.txt sənədi dəstəklənən sahələr kimi yalnız user-agent, allow, disallow və sitemap-i sadalayır.
Sətrin üstündəki siyasət mətni nə deyir?
Content Signals Policy bir sətirdən ibarət deyil. Cloudflare-in contentsignals.org-dakı generatoru da, managed robots.txt-i də siqnalların üstünə şərhlər bloku qoyur. O, sayta daxil olmağın şərti kimi content signals-a əməl etməyə razılaşdığınızı bildirməklə başlayır, sonra üç siqnalı və yes, no və siqnalın olmadığı halları müəyyən edir.
O, content signals vasitəsilə ifadə edilən istənilən məhdudiyyətin Rəqəmsal Vahid Bazarda müəllif hüququ haqqında EU Directive 2019/790-ın 4-cü maddəsinə əsasən hüquqların açıq qeyd-şərti olduğunu bildirən böyük hərflərlə yazılmış cümlə ilə bitir. Cloudflare-in elanı əlavə edir ki, siqnalların müxtəlif yurisdiksiyalarda hüquqi çəkisi ola bilər.
contentsignals.org-un özü xəbərdarlıq edir ki, məhkəmələr və tənzimləyicilər robots.txt fayllarının icrası məcburi hüquqi öhdəliklər yaratmadığı qənaətinə gələ bilər və hüquqşünasla məsləhətləşməyi tövsiyə edir. Şərhlər blokunu müqavilə kimi deyil, mövqeyinizin yazılı ifadəsi kimi qəbul edin.
Content-Signal artıq robots.txt-imdə varmı?
Saytınız Cloudflare-dədirsə, ola bilər, iki yoldan biri ilə:
- Managed robots.txt. Bot Preference Sync açıq olanda və ən azı bir AI Crawler and Agent access policy Block, Block on pages with ads və ya Training üçün Disallow vəziyyətində olanda Cloudflare serverinizin göndərdiyi robots.txt-in əvvəlinə idarə olunan blok əlavə edir. Onda siyasət mətni,
User-Agent: *altındaContent-signal: search=yes, ai-train=no, use=reference, həmçininAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotvəmeta-externalagentüçünDisallow: /olur. - Ümumiyyətlə robots.txt yoxdur. Cloudflare bildirir ki, Free planında olan, öz robots.txt-i olmayan və managed funksiyadan istifadə etməyən domenlər bot
/robots.txtsorğulayanda Content Signals Policy-ni göstərir. Həmin versiyada təriflər var, amma heç bir üstünlük bildirilmir.
use=reference hissəsi yenidir. Cloudflare use-u sınaqdan keçirdiyi istəyə bağlı dördüncü sahə kimi təsvir edir və onun üç dəyəri var: immediate (qarşılıqlı əlaqə, amma heç nəyi saxlamamaq və təkrar istifadə etməmək), reference (indeksləmək, fraqment götürmək və keçid vermək) və full (xülasə etmək və təkrar yaratmaq). O, ilkin üç siqnaldan biri deyil və yoxladığımız bot sənədlərinin heç biri onu xatırlatmır.
Cloudflare bu sətirləri edge-də əlavə etdiyi üçün repozitoriyanızdakı fayl dəyişməmiş görünə bilər, botların aldığı fayl isə fərqlidir. Cavabda iki fərqli siyasət olmasın deyə, öz sətrinizi əlavə etməzdən əvvəl işləyən https://yourdomain.com/robots.txt faylını yükləyin.
Böyük saytlar arasında istifadə hələ azdır. 2026-cı ilin noyabrında 1,000 ən populyar domen üzrə araşdırmamızda robots.txt təqdim edən 518 saytdan 18-i (3.5%) Content-Signal-dan istifadə edirdi.
AI botları Content-Signal-a əməl edirmi?
Tapa bildiyimiz heç bir sənədə görə yox. 17 noyabr 2026-da OpenAI, Anthropic, Google və Perplexity-nin bot səhifələrini yoxladıq və onların heç biri Content-Signal-ı xatırlatmır. Cloudflare-in özü siqnalları scraping-ə qarşı texniki tədbirlər deyil, üstünlüklər kimi təsvir edir və bildirir ki, bəzi şirkətlər onları sadəcə nəzərə almaya bilər.
AI şirkətlərinin əvəzində sənədləşdirdiyi IETF AI Preferences işçi qrupunun işinə əsaslanan ayrıca mexanizmdir: adi User-Agent qrupu kimi yazılan siyasət tokeni, __usage_ai-training. O, yalnız təlimi əhatə edir və onu müəyyən edən Internet-Draft bildirir ki, User-Agent: * qrupu tokendən istifadə sayılmır:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Dəstək qeyri-bərabərdir və qismən hələ qarşıdadır. Anthropic bildirir ki, 30 oktyabr 2026-dan ümumi maşınla oxunan təlim siqnalını tanıyır, onu tədricən tətbiq edir və ClaudeBot adını çəkən qayda ondan üstündür. Microsoft Bing üçün __usage_ai-training tokenini sənədləşdirir və yeni üstünlükləri 1 fevral 2027-dən səhifələr skan olunduqca qüvvəyə minir. Google bildirir ki, ortaq nəzarət vasitəsini 2027-ci ildə dəstəkləməyi hədəfləyir və həmin token adlandırılmadıqda onun vasitəsilə təlimdən imtinanı Google-Extended üçün qadağa kimi qəbul etməyi planlaşdırır. OpenAI həmin gün ortaq siqnala əməl edəcəyini bildirən elan dərc edib, tarix göstərmədən.
Beləliklə, ai-train=no və __usage_ai-training oxşar şeylər deyir, amma AI şirkətlərindən sənədləşdirilmiş dəstəyi yalnız ikincisi var. GPTBot və ClaudeBot kimi hər bota aid tokenlər hər təchizatçının bu gün tətbiq etdiyi nəzarət vasitələri olaraq qalır.
Content-Signal-ı robots.txt-imə əlavə etməliyəmmi?
İstifadə siyasətinizin həm maşınların, həm də insanların oxuya biləcəyi bir yerdə yazılmasını istəyirsinizsə, əlavə edin. O, həmçinin bütün botlar üçün ai-input üstünlüyünü bir sətirdə bildirir, təchizatçı tokenləri isə bunu yalnız bot-bot ifadə edə bilir. Bunun qiyməti bir sətirdir və onu tanımayan parser-lər ötürür.
Yalnız ona güvənməyin. Məzmunu təlimdən kənarda saxlamaq üçün sənədləşdirilmiş təlim tokenlərini də qadağan edin və ortaq təlim tokenini də nəzərdən keçirin; AI təlimini bloklayıb AI axtarışında qalmaq barədə bələdçimiz tokenləri təchizatçılar üzrə sadalayır. robots.txt-i nəzərə almayan hər şey üçün bloku yalnız firewall qaydası təmin edir.
Nəhayət, sətrin faylın qalan hissəsi ilə uzlaşdığını yoxlayın. OAI-SearchBot və ya PerplexityBot üçün Allow qrupunun yanında ai-input=no ziddiyyətli mesaj göndərir: AI axtarış botlarını içəri buraxırsınız, amma onların cavablarının yüklədiklərindən istifadə edə bilməyəcəyini deyirsiniz.
robots.txt-imin hər bota nə dediyini necə yoxlayım?
Pulsuz AISeeWhy robots.txt yoxlayıcısı səhifə ünvanını və ya yapışdırılmış robots.txt-i qəbul edir və hər AI və axtarış botu üçün həmin səhifənin yüklənə bilib-bilmədiyini göstərir, beləliklə işləyən faylın, Cloudflare-in əvvələ əlavə etdikləri də daxil olmaqla, nəzərdə tutduğunuzu dediyini təsdiqləyə bilərsiniz. Pulsuz robots.txt generatoru seçimlərinizə əsasən fayl yazır.
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Tez-tez verilən suallar
Content-Signal robots.txt standartının hissəsidirmi?
Xeyr. RFC 9309 User-agent, Allow və Disallow-u müəyyən edir və botlara digər qeydləri şərh etməyə icazə verir. Content-Signal Cloudflare-in CC0 lisenziyası ilə buraxılmış Content Signals Policy-sindən gəlir. Bundan ayrı olaraq, IETF AI Preferences işçi qrupu robots.txt üçün öz Content-Usage qaydasını hazırlayır və o, hələ standart deyil, Internet-Draft-dır.
ai-train=no GPTBot və ya ClaudeBot-u dayandırırmı?
Təchizatçıların sənədlərinə görə yox. OpenAI və Anthropic nəzarəti GPTBot və ClaudeBot adını çəkən robots.txt qaydaları ilə təsvir edir və hər iki botun səhifəsi Content-Signal-ı xatırlatmır. Onların hər hansı biri ilə təlimdən imtina etmək üçün tokeni adı ilə qadağan edin.
Content-Signal ilə __usage_ai-training arasında fərq nədir?
Content-Signal qrupun içində olan sətirdir və axtarışı, AI-a ötürülməni və təlimi əhatə edir. __usage_ai-training öz User-Agent qrupu kimi istifadə olunan siyasət tokenidir və yalnız təlimi əhatə edir. Anthropic, Microsoft, Google və OpenAI ortaq təlim siqnalı barədə bəyanatlar dərc edib; onların heç biri Content-Signal-ı sənədləşdirmir.
Google Search Console niyə Syntax not understood deyir?
Google-un robots.txt sənədi yalnız user-agent, allow, disallow və sitemap-i dəstəkləyir, buna görə digər sətirlər qeyd oluna bilər. Cloudflare bildirir ki, bu bildirişlərin skan sürətinə və ya SEO-ya heç bir təsirini müşahidə etməyib.
use=reference nə deməkdir?
Bu, Cloudflare-in sınaqdan keçirdiyi dördüncü sahədir. reference indeksləmək, fraqment götürmək və keçid vermək deməkdir. Cloudflare onu managed robots.txt fayllarına əlavə edir və yoxladığımız bot sənədlərinin heç biri onu xatırlatmır.
Mənbələr
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11