En popüler 10.000 sitenin robots.txt dosyasını okuduk. Yapay zeka tarayıcılarına karşı ne yapıyorlar?
Tranco ilk 10.000 listesinde robots.txt sunan 6.192 alan adının %23,2'si en az bir yapay zeka eğitim tarayıcısını, %12,3'ü en az bir yapay zeka arama veya kullanıcı tarayıcısını engelliyor. Eğitimi engelleyen sitelerin %51,6'sı yapay zeka aramasını da engelliyor. Eğitimden çıkıp tüm yapay zeka arama tarayıcılarına izin verenler yalnızca %11,2.
Kasım ayında en popüler 1.000 alan adının robots.txt dosyasını okumuştuk. Bu kez aynı yöntemle 10.000 alan adını okuduk ve siteler küçüldükçe tablonun nasıl değiştiğine de baktık. Ana bulgu geçerliliğini koruyor: eğitimi engellemek ile aramayı engellemek iki ayrı karar olduğu hâlde tek karar gibi ele alınıyor.
Bu sayfada
Nasıl ölçtük?
Tranco listesinin ilk 10.000 alan adını aldık (liste kimliği JZWZY) ve 21 Kasım 2026'da her alan adının ana sayfasını, robots.txt ve llms.txt dosyalarını AISeeWhy'ın kendi kullanıcı aracısıyla bir kez çektik. Her robots.txt dosyasını RFC 9309'a göre ana sayfa (/) ve 16 yapay zeka ile arama tarayıcısı için değerlendirdik.
10.000 alan adının 6.192'si robots.txt sundu (HTML sayfası olmayan başarılı bir yanıt). 1.121'i 4xx ile yanıt verdi; bu, kural olmadığı ve tüm tarayıcılara izin verildiği anlamına gelir. 2.687'si ise dosya sunmadı (HTTPS sitesi yok, hata, zaman aşımı veya onun yerine bir HTML sayfası). Aşağıdaki tüm yüzdeler 6.192 üzerinden hesaplandı. Listede web sitesi sunmayan CDN'ler ve API'ler de var.
Ne bulduk?
- %23,2'si (1.437 alan adı) en az bir yapay zeka eğitim tarayıcısını engelliyor.
- %12,3'ü (762) en az bir yapay zeka arama veya kullanıcı tarayıcısını engelliyor; yani sayfalar buna dayanan yanıtlarda kullanılmamalı veya alıntılanmamalı.
- Bir eğitim tarayıcısını engelleyen alan adlarının %51,6'sı (1.437'nin 742'si) en az bir yapay zeka arama veya kullanıcı tarayıcısını da engelliyor.
- Yalnızca %11,2'si (695) seçici yolu izliyor: eğitim tarayıcılarını engelliyor, tüm yapay zeka arama ve kullanıcı tarayıcılarına izin veriyor.
- %6,5'i (401) yapay zeka tercihlerini
Content-Signalile belirtiyor. - Tüm 10.000 alan adının %12,4'ü (1.240) bir
llms.txtyayımlıyor. - Karşılaştırma için: %2,0'si (124) ana sayfada
Googlebot'u engelliyor.
Hangi tarayıcılar en sık engelleniyor?
robots.txt dosyası ana sayfayı ilgili tarayıcıya yasaklayan alan adlarının, 6.192 alan adı içindeki payı:
Bytespider%18,7,CCBot%18,5,GPTBot%17,4,ClaudeBot%16,5.Meta-ExternalAgent%15,5,Google-Extended%14,9,Applebot-Extended%14,6.PerplexityBot%10,4 ile en sık engellenen yapay zeka arama tarayıcısı; ardındanOAI-SearchBot%7,0 veClaude-SearchBot%7,0 geliyor.- Bir kişi sorduğunda sayfayı açan tarayıcılar:
ChatGPT-User%8,9,Perplexity-User%7,7,Claude-User%7,4.
Büyük siteler daha mı çok engelliyor?
Evet, üstelik eğitim ile aramayı daha sık karıştırıyorlar. Listeyi sıraya göre böldük:
- 1-1.000. sıralar (robots.txt dosyası olan 560 alan adı): %28,6'sı eğitimi, %18,6'sı yapay zeka aramasını engelliyor; eğitimi engelleyenlerin %63,1'i yapay zeka aramasını da engelliyor.
- 1.001-3.000. sıralar (1.256 alan adı): %23,5, %13,5 ve %55,6.
- 3.001-10.000. sıralar (4.376 alan adı): %22,4, %11,2 ve %48,6.
Seçici yol her boyutta nadirdir: üç gruptaki alan adlarının %10,5'i, %10,4'ü ve %11,5'i.
12 Kasım raporumuzdan beri bir şey değişti mi?
İlk 1.000 alan adını aynı listeyle yeniden taradık. Sonuç yaklaşık bir puan içinde kararlı: %28,6'sı eğitimi engelliyor (12 Kasım'da %29,9), %18,6'sı yapay zeka aramasını engelliyor (%19,5) ve eğitimi engelleyenlerin %63,1'i yapay zeka aramasını da engelliyor (%63,2). Paydalar biraz farklı (şimdi robots.txt dosyası olan 560 alan adı, o zaman 518), çünkü bu çalıştırma çekmeden önce bir alan adının yönlendirmesini ana ana bilgisayara kadar izliyor.
Bu, sizin robots.txt dosyanız için ne anlama geliyor?
Çoğu yapay zeka şirketi eğitim ve arama için ayrı tarayıcılar belgeliyor ve ayarların birbirinden bağımsız olduğunu söylüyor. GPTBot'u yasaklamak OAI-SearchBot'a dokunmaz, ClaudeBot'u yasaklamak da Claude-SearchBot'a dokunmaz. Eğitimden çıkmak ama yine de alıntılanmak istiyorsanız, eğitim adlarını engelleyin, arama ve kullanıcı adlarına izin verin ve özel yolları her grupta yineleyin; çünkü adıyla anılan bir grup * grubundan kural devralmaz.
Bu rakamlar ne kadar güvenilir?
Bunlar, ana sayfa için robots.txt kurallarıdır ve tek bir ayrıştırıcıyla, tek bir günde okunmuştur. Bir tarayıcıyı robots.txt izin verdiği hâlde reddedebilen güvenlik duvarı engellerini ölçmezler. Her sitenin ne amaçladığını söyleyemezler ve Tranco listesi web sitesi sunmayan alan adlarını da içerir. Bir arama tarayıcısını engelleyen kural hatanın kanıtı değildir; yalnızca çoğu zaman farkı bilmeden verilen bir tercihin göstergesidir. Rakamları bu sayfaya bağlantı vererek alıntılayabilirsiniz.
Sonraki adımlar
- Yapay zekâ tarayıcıları için robots.txt test aracı ve denetleyici
- llms.txt denetleyici ve doğrulayıcı
- Tam rapor örneğini görün
- Yapay zekâ tarayıcısı izleme
- Planlar ve fiyatlar
Bu makaledeki tarayıcılar
Sık sorulan sorular
Popüler sitelerin yüzde kaçı yapay zeka tarayıcılarını engelliyor?
Tranco ilk 10.000 listesinde robots.txt sunan 6.192 alan adının %23,2'si en az bir yapay zeka eğitim tarayıcısını, %12,3'ü en az bir yapay zeka arama veya kullanıcı tarayıcısını engelliyor.
Yapay zeka eğitimini engelleyen siteler yapay zeka aramasını da engelliyor mu?
Sık sık. Bir eğitim tarayıcısını engelleyen sitelerin %51,6'sı en az bir yapay zeka arama veya kullanıcı tarayıcısını da engelliyor; oysa şirketler bunları bağımsız ayarlara sahip ayrı tarayıcılar olarak belgeliyor.
En sık engellenen yapay zeka tarayıcısı hangisi?
Eğitim tarayıcıları arasında Bytespider (%18,7) ve CCBot (%18,5), ardından GPTBot (%17,4). Yapay zeka arama tarayıcıları arasında en sık PerplexityBot engelleniyor; alan adlarının %10,4'ünde.
Rakamlar neden 1.000 sitelik raporunuzdan farklı?
İlk 1.000 alan adı neredeyse aynı yüzdeleri veriyor (%29,9 ve %19,5 yerine %28,6 ve %18,6). 10.000 sitelik rakamlar daha düşük, çünkü küçük siteler daha az engelliyor.
Kaynaklar
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers