robots.txt'de Content-Signal nedir ve ona uyan var mı?

Yayınlanma

Kısa cevap

Content-Signal, Cloudflare'in yayımladığı isteğe bağlı bir robots.txt satırıdır ve içeriğinizin çekildikten sonra nasıl kullanılabileceğini belirtir: arama sonuçları için search, AI yanıtlarına girdi olarak vermek için ai-input ve model eğitimi için ai-train; her biri yes ya da no olarak ayarlanır, örneğin Content-Signal: search=yes, ai-input=yes, ai-train=no. Bir tercih bildirir, hiçbir şeyi engellemez. Kasım 2026 itibarıyla OpenAI, Anthropic, Google ve Perplexity crawler sayfalarının hiçbiri onu okuduğunu söylemiyor; büyük AI şirketleri ise bunun yerine yalnızca eğitimi kapsayan farklı bir token'ı destekledi.

robots.txt, bir crawler'ın nereye gidebileceğini söylemek için yapıldı, okuduğuyla ne yapılabileceğini söylemek için değil. Aynı çekim bir arama dizinini, canlı bir AI yanıtını ve bir eğitim kümesini besleyebilir hâle gelince bu boşluk önem kazandı. Cloudflare bu boşluğu doldurmak için Content Signals Policy'yi 24 Eylül 2025'te CC0 lisansıyla yayımladı ve o sırada müşterilerinin 3,8 milyonun üzerinde alan adı için yönetilen robots.txt'yi zaten açtığını söyledi; bu özellik artık satırı onlar için ekliyor.

Bu sayfada
  1. search, ai-input ve ai-train ne anlama gelir?
  2. robots.txt'ye Content-Signal satırı nasıl yazılır?
  3. Satırın üstündeki politika metni ne diyor?
  4. Content-Signal zaten robots.txt dosyamda mı?
  5. AI crawler'ları Content-Signal'a uyar mı?
  6. robots.txt dosyama Content-Signal eklemeli miyim?
  7. robots.txt dosyamın her crawler'a ne söylediğini nasıl kontrol ederim?

search, ai-input ve ai-train ne anlama gelir?

Politika üç sinyal tanımlıyor. Aşağıdaki ifadeler contentsignals.org'u ve Cloudflare'in yayımladığı politika metnini izliyor:

Her sinyal yes ya da no alır. Politikanın ifadesiyle yes içeriğin o kullanım için toplanabileceği, no toplanamayacağı anlamına gelir; yazmadığınız bir sinyal o kullanıma ne izin verir ne de onu kısıtlar. Cloudflare'in varsayılanı search ve ai-train'i ayarlar, ai-input'u ise boş bırakır; çünkü her müşterinin bu sinyaldeki tercihini bilmediğini ve tahmin etmek istemediğini söylüyor.

search ile ai-input arasındaki ayrım çoğu kişinin gözden kaçırdığı şey. Sayfalarınızın AI yanıtlarında kullanılmasını istiyorsanız, search=yes tek başına bunu söylemez. ai-input=yes söyler.

robots.txt'ye Content-Signal satırı nasıl yazılır?

Content-Signal, bir user agent grubunun içinde, Allow ve Disallow'un yanında yer alır; sinyaller virgülle ayrılır. contentsignals.org ayrıca bir yolla başlayan bir biçim de gösteriyor; böylece sitenin bir bölümü geri kalanından farklı sinyaller taşıyabilir:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow ve Disallow tam olarak eskisi gibi çalışmaya devam eder ve Content-Signal onların yerini almaz. RFC 9309, tanımlı kuralları bozmadığı sürece crawler'ların protokolün parçası olmayan kayıtları yorumlamasına izin veriyor; dolayısıyla satırı bilmeyen bir ayrıştırıcı onu atlamalıdır.

Bilmeye değer iki ayrıntı var. Birincisi, satır bir gruba aittir. RFC 9309'a göre kendi adıyla bir grubu olan bir crawler User-agent: * grubunu tamamen yok sayar ve Content Signals sayfaları bu satır için bir istisna tanımlamıyor. Googlebot'a ya da OAI-SearchBot'a kendi grubunu veriyorsanız, contentsignals.org'un crawler bazındaki örneğinde yaptığı gibi Content-Signal satırını orada tekrarlayın. İkincisi, Google Search Console bu satır için Syntax not understood bildirebilir. Cloudflare'in belgeleri bundan söz ediyor ve tarama ya da SEO üzerinde bir etki gözlemlemediğini söylüyor. Google'ın robots.txt belgeleri desteklenen alanlar olarak yalnızca user-agent, allow, disallow ve sitemap'i listeliyor.

Satırın üstündeki politika metni ne diyor?

Content Signals Policy tek bir satırdan ibaret değil. Cloudflare'in contentsignals.org'daki oluşturucusu da yönetilen robots.txt'si de sinyallerin üstüne bir yorum bloğu koyar. Blok, web sitesine erişimin bir koşulu olarak içerik sinyallerine uymayı kabul ettiğinizi söyleyerek başlar, ardından üç sinyali ve yes, no ile belirtilmemiş durumları tanımlar.

Blok, içerik sinyalleriyle ifade edilen tüm kısıtlamaların Dijital Tek Pazar'da telif hakkına ilişkin EU Directive 2019/790'ın 4. maddesi kapsamında açık hak saklamaları olduğunu belirten büyük harfli bir cümleyle biter. Cloudflare'in duyurusu, sinyallerin çeşitli yargı bölgelerinde hukuki ağırlık taşıyabileceğini ekliyor.

contentsignals.org'un kendisi, mahkemelerin ve düzenleyicilerin robots.txt dosyalarının uygulanabilir hukuki yükümlülükler getirmediği sonucuna varabileceği konusunda uyarıyor ve bir avukata danışmayı öneriyor. Yorum bloğunu bir sözleşme olarak değil, tutumunuzun yazılı bir beyanı olarak görün.

Content-Signal zaten robots.txt dosyamda mı?

Siteniz Cloudflare'deyse, iki yoldan biriyle olabilir:

use=reference kısmı yeni. Cloudflare use'u test ettiği isteğe bağlı dördüncü bir alan olarak tanımlıyor ve üç değeri var: immediate (etkileşime gir, ama hiçbir şeyi saklama ve yeniden kullanma), reference (dizine ekle, alıntıla ve geri bağlantı ver) ve full (özetle ve yeniden üret). Özgün üç sinyalden biri değil ve kontrol ettiğimiz crawler belgelerinin hiçbiri ondan söz etmiyor.

Cloudflare bu satırları uçta (edge) eklediği için deponuzdaki dosya değişmemiş görünürken crawler'ların aldığı dosya farklı olabilir. Kendi satırınızı eklemeden önce canlı https://yourdomain.com/robots.txt adresini çekin; böylece yanıt iki farklı politika belirtmez.

Büyük sitelerde kullanım hâlâ düşük. En popüler 1.000 alan adı üzerine Kasım 2026'da yaptığımız çalışmada, robots.txt sunan 518 sitenin 18'i (%3,5) Content-Signal kullanıyordu.

AI crawler'ları Content-Signal'a uyar mı?

Bulabildiğimiz hiçbir belgeye göre uymuyor. 17 Kasım 2026'da OpenAI, Anthropic, Google ve Perplexity'nin crawler sayfalarını kontrol ettik; hiçbiri Content-Signal'dan söz etmiyor. Cloudflare'in kendisi de sinyalleri kazımaya karşı teknik önlemler değil tercihler olarak tanımlıyor ve bazı şirketlerin onları düpedüz yok sayabileceğini söylüyor.

AI şirketlerinin bunun yerine belgelediği şey, IETF AI Preferences çalışma grubunun çalışmasına dayanan ayrı bir mekanizma: sıradan bir User-Agent grubu olarak yazılan __usage_ai-training adlı bir politika token'ı. Yalnızca eğitimi kapsar ve onu tanımlayan Internet-Draft, bir User-Agent: * grubunun token'ı kullanmak sayılmadığını söylüyor:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Destek dengesiz ve kısmen henüz gelmedi. Anthropic, 30 Ekim 2026'dan beri genel, makinece okunabilir bir eğitim sinyalini tanıdığını, bunu kademeli olarak devreye aldığını ve ClaudeBot'u adlandıran bir kuralın ondan öncelikli olduğunu söylüyor. Microsoft Bing için __usage_ai-training token'ını belgeliyor; yeni tercihleri sayfalar 1 Şubat 2027'den itibaren tarandıkça geçerli oluyor. Google bu ortak denetimi 2027'de desteklemeyi hedeflediğini ve Google-Extended adlandırılmadığında bunun üzerinden yapılan bir eğitim opt-out'unu o token için bir disallow olarak ele almayı planladığını söylüyor. OpenAI aynı gün ortak sinyale uyacağını belirten bir duyuru yayımladı, ama tarih vermedi.

Yani ai-train=no ile __usage_ai-training benzer şeyler söylüyor, ama yalnızca ikincisinin AI şirketlerinden belgelenmiş desteği var. GPTBot ve ClaudeBot gibi crawler bazındaki token'lar bugün her sağlayıcının uyguladığı denetimler olmayı sürdürüyor.

robots.txt dosyama Content-Signal eklemeli miyim?

Kullanım politikanızın makinelerin ve insanların okuyabileceği tek bir yerde yazılı olmasını istiyorsanız ekleyin. Ayrıca her crawler için bir ai-input tercihini tek satırda belirtir; sağlayıcı token'ları bunu ancak crawler crawler ifade edebilir. Maliyeti tek bir satır ve onu bilmeyen ayrıştırıcılar atlar.

Yalnızca ona güvenmeyin. İçeriği eğitimin dışında tutmak için belgelenmiş eğitim token'larını da engelleyin ve ortak eğitim token'ını değerlendirin; AI aramasında kalırken AI eğitimini engelleme rehberimiz token'ları sağlayıcıya göre listeliyor. robots.txt'yi yok sayan her şey için bir engeli yalnızca bir güvenlik duvarı kuralı uygular.

Son olarak, satırın dosyanın geri kalanıyla uyumlu olduğunu kontrol edin. OAI-SearchBot ya da PerplexityBot için bir Allow grubunun yanında ai-input=no çelişkili mesajlar verir: AI arama crawler'larını içeri alırken yanıtlarının çektikleri içeriği kullanamayacağını söylüyorsunuz.

robots.txt dosyamın her crawler'a ne söylediğini nasıl kontrol ederim?

Ücretsiz AISeeWhy robots.txt denetleyicisi bir sayfa adresi ya da yapıştırılmış bir robots.txt alır ve her AI ve arama crawler'ı için o sayfanın çekilip çekilemeyeceğini gösterir; böylece Cloudflare'in başa eklediği her şey dahil canlı dosyanın kastettiğiniz şeyi söylediğini doğrulayabilirsiniz. Ücretsiz robots.txt oluşturucu seçimlerinize göre bir dosya yazar.

Ücretsiz araçlar

Sonraki adımlar

Bu makaledeki tarayıcılar

Sık sorulan sorular

Content-Signal robots.txt standardının parçası mı?

Hayır. RFC 9309 User-agent, Allow ve Disallow'u tanımlar ve crawler'ların diğer kayıtları yorumlamasına izin verir. Content-Signal, CC0 lisansıyla yayımlanan Cloudflare Content Signals Policy'den geliyor. Bundan ayrı olarak IETF AI Preferences çalışma grubu robots.txt için kendi Content-Usage kuralını hazırlıyor; bu da henüz bir standart değil, bir Internet-Draft.

ai-train=no, GPTBot'u ya da ClaudeBot'u durdurur mu?

Sağlayıcıların belgelediği kadarıyla hayır. OpenAI ve Anthropic denetimi GPTBot ve ClaudeBot'u adlandıran robots.txt kurallarıyla tanımlıyor ve iki crawler sayfası da Content-Signal'dan söz etmiyor. İkisinde de eğitimden çıkmak için token'ı adıyla engelleyin.

Content-Signal ile __usage_ai-training arasındaki fark nedir?

Content-Signal bir grubun içindeki bir satırdır ve aramayı, AI girdisini ve eğitimi kapsar. __usage_ai-training kendi User-Agent grubu olarak kullanılan bir politika token'ıdır ve yalnızca eğitimi kapsar. Anthropic, Microsoft, Google ve OpenAI ortak eğitim sinyali hakkında açıklamalar yayımladı; hiçbiri Content-Signal'ı belgelemiyor.

Google Search Console neden Syntax not understood diyor?

Google'ın robots.txt belgeleri yalnızca user-agent, allow, disallow ve sitemap'i destekliyor; bu yüzden diğer satırlar işaretlenebilir. Cloudflare bu raporlardan tarama hızları ya da SEO üzerinde bir etki gözlemlemediğini söylüyor.

use=reference ne anlama gelir?

Cloudflare'in test ettiği dördüncü bir alan. reference dizine ekle, alıntıla ve geri bağlantı ver anlamına gelir. Cloudflare bunu yönetilen robots.txt dosyalarına ekliyor ve kontrol ettiğimiz hiçbir crawler belgesi ondan söz etmiyor.

Kaynaklar

Diğer makaleler