En popüler 10.000 sitenin robots.txt dosyasını okuduk. Yapay zeka tarayıcılarına karşı ne yapıyorlar?

Yayınlanma

Kısa cevap

Tranco ilk 10.000 listesinde robots.txt sunan 6.192 alan adının %23,2'si en az bir yapay zeka eğitim tarayıcısını, %12,3'ü en az bir yapay zeka arama veya kullanıcı tarayıcısını engelliyor. Eğitimi engelleyen sitelerin %51,6'sı yapay zeka aramasını da engelliyor. Eğitimden çıkıp tüm yapay zeka arama tarayıcılarına izin verenler yalnızca %11,2.

Kasım ayında en popüler 1.000 alan adının robots.txt dosyasını okumuştuk. Bu kez aynı yöntemle 10.000 alan adını okuduk ve siteler küçüldükçe tablonun nasıl değiştiğine de baktık. Ana bulgu geçerliliğini koruyor: eğitimi engellemek ile aramayı engellemek iki ayrı karar olduğu hâlde tek karar gibi ele alınıyor.

Bu sayfada
  1. Nasıl ölçtük?
  2. Ne bulduk?
  3. Hangi tarayıcılar en sık engelleniyor?
  4. Büyük siteler daha mı çok engelliyor?
  5. 12 Kasım raporumuzdan beri bir şey değişti mi?
  6. Bu, sizin robots.txt dosyanız için ne anlama geliyor?
  7. Bu rakamlar ne kadar güvenilir?

Nasıl ölçtük?

Tranco listesinin ilk 10.000 alan adını aldık (liste kimliği JZWZY) ve 21 Kasım 2026'da her alan adının ana sayfasını, robots.txt ve llms.txt dosyalarını AISeeWhy'ın kendi kullanıcı aracısıyla bir kez çektik. Her robots.txt dosyasını RFC 9309'a göre ana sayfa (/) ve 16 yapay zeka ile arama tarayıcısı için değerlendirdik.

10.000 alan adının 6.192'si robots.txt sundu (HTML sayfası olmayan başarılı bir yanıt). 1.121'i 4xx ile yanıt verdi; bu, kural olmadığı ve tüm tarayıcılara izin verildiği anlamına gelir. 2.687'si ise dosya sunmadı (HTTPS sitesi yok, hata, zaman aşımı veya onun yerine bir HTML sayfası). Aşağıdaki tüm yüzdeler 6.192 üzerinden hesaplandı. Listede web sitesi sunmayan CDN'ler ve API'ler de var.

Ne bulduk?

Hangi tarayıcılar en sık engelleniyor?

robots.txt dosyası ana sayfayı ilgili tarayıcıya yasaklayan alan adlarının, 6.192 alan adı içindeki payı:

Büyük siteler daha mı çok engelliyor?

Evet, üstelik eğitim ile aramayı daha sık karıştırıyorlar. Listeyi sıraya göre böldük:

Seçici yol her boyutta nadirdir: üç gruptaki alan adlarının %10,5'i, %10,4'ü ve %11,5'i.

12 Kasım raporumuzdan beri bir şey değişti mi?

İlk 1.000 alan adını aynı listeyle yeniden taradık. Sonuç yaklaşık bir puan içinde kararlı: %28,6'sı eğitimi engelliyor (12 Kasım'da %29,9), %18,6'sı yapay zeka aramasını engelliyor (%19,5) ve eğitimi engelleyenlerin %63,1'i yapay zeka aramasını da engelliyor (%63,2). Paydalar biraz farklı (şimdi robots.txt dosyası olan 560 alan adı, o zaman 518), çünkü bu çalıştırma çekmeden önce bir alan adının yönlendirmesini ana ana bilgisayara kadar izliyor.

Bu, sizin robots.txt dosyanız için ne anlama geliyor?

Çoğu yapay zeka şirketi eğitim ve arama için ayrı tarayıcılar belgeliyor ve ayarların birbirinden bağımsız olduğunu söylüyor. GPTBot'u yasaklamak OAI-SearchBot'a dokunmaz, ClaudeBot'u yasaklamak da Claude-SearchBot'a dokunmaz. Eğitimden çıkmak ama yine de alıntılanmak istiyorsanız, eğitim adlarını engelleyin, arama ve kullanıcı adlarına izin verin ve özel yolları her grupta yineleyin; çünkü adıyla anılan bir grup * grubundan kural devralmaz.

Bu rakamlar ne kadar güvenilir?

Bunlar, ana sayfa için robots.txt kurallarıdır ve tek bir ayrıştırıcıyla, tek bir günde okunmuştur. Bir tarayıcıyı robots.txt izin verdiği hâlde reddedebilen güvenlik duvarı engellerini ölçmezler. Her sitenin ne amaçladığını söyleyemezler ve Tranco listesi web sitesi sunmayan alan adlarını da içerir. Bir arama tarayıcısını engelleyen kural hatanın kanıtı değildir; yalnızca çoğu zaman farkı bilmeden verilen bir tercihin göstergesidir. Rakamları bu sayfaya bağlantı vererek alıntılayabilirsiniz.

Ücretsiz araçlar

Sonraki adımlar

Bu makaledeki tarayıcılar

Sık sorulan sorular

Popüler sitelerin yüzde kaçı yapay zeka tarayıcılarını engelliyor?

Tranco ilk 10.000 listesinde robots.txt sunan 6.192 alan adının %23,2'si en az bir yapay zeka eğitim tarayıcısını, %12,3'ü en az bir yapay zeka arama veya kullanıcı tarayıcısını engelliyor.

Yapay zeka eğitimini engelleyen siteler yapay zeka aramasını da engelliyor mu?

Sık sık. Bir eğitim tarayıcısını engelleyen sitelerin %51,6'sı en az bir yapay zeka arama veya kullanıcı tarayıcısını da engelliyor; oysa şirketler bunları bağımsız ayarlara sahip ayrı tarayıcılar olarak belgeliyor.

En sık engellenen yapay zeka tarayıcısı hangisi?

Eğitim tarayıcıları arasında Bytespider (%18,7) ve CCBot (%18,5), ardından GPTBot (%17,4). Yapay zeka arama tarayıcıları arasında en sık PerplexityBot engelleniyor; alan adlarının %10,4'ünde.

Rakamlar neden 1.000 sitelik raporunuzdan farklı?

İlk 1.000 alan adı neredeyse aynı yüzdeleri veriyor (%29,9 ve %19,5 yerine %28,6 ve %18,6). 10.000 sitelik rakamlar daha düşük, çünkü küçük siteler daha az engelliyor.

Kaynaklar

Diğer makaleler