İşletme sitelerinin onda dördü yapay zeka tarayıcılarını geri çeviriyor

Yayınlanma

Kısa cevap

ABD, Birleşik Krallık ve Fransa'daki 165 işletme sitesini denetlediğimizde, %38'i en az bir yapay zeka tarayıcısını sunucu düzeyinde geri çevirdi; bu neredeyse hep bir eğitim veya kazıma botuydu. Her on siteden biri ayrıca PerplexityBot veya OAI-SearchBot gibi, alıntıya yol açabilen bir yapay zeka arama tarayıcısını da reddetti. Sitenizi her tarayıcı için tek bir istekle kontrol edin.

ChatGPT'ye kendi ürününüzü soruyorsunuz ve o bir rakibi, bir inceleme sitesini ve bir forum konusunu sayıyor. Bazen bu bir içerik sorunudur. Çoğu zaman ise bir güvenlik duvarı yapay zeka tarayıcılarına hayır diyordur; site tarayıcıda çalıştığı için ekibinizden kimse bunu hiç görmemiştir.

Bu sayfada
  1. Neyi test ettik?
  2. Ne bulduk?
  3. Bu neden oluyor ve ne zaman bir tercih?
  4. En büyük siteler daha mı iyi durumda?
  5. Kendi sitemi on dakikada nasıl kontrol ederim?
  6. Bu rakamlar ne kadar güvenilir?

Neyi test ettik?

Bir sayfayı aynı adresten birkaç kez istiyoruz: bir kez sıradan bir tarayıcı olarak, bir kez de 14 yapay zeka ve arama tarayıcısının her biri olarak. Bunlar arasında OpenAI'dan GPTBot, OAI-SearchBot ve ChatGPT-User, Anthropic'ten ClaudeBot ve Claude-SearchBot, Perplexity'den PerplexityBot var. Tarayıcı sayfayı alırken bir tarayıcı botu 401, 403, 406, 429, 451, 503 veya bir doğrulama sayfası alıyorsa, site o botu geri çeviriyordur.

Örneklem, ABD, Birleşik Krallık ve Fransa'daki 218 işletme sitesidir; 18-21 Kasım 2026 arasında denetlendi. Tam testi 165 sitede çalıştırabildik. Diğer 53 site sıradan tarayıcı isteğimizi bile reddetti veya yanıt vermedi; tahmin yürütmek yerine onları dışarıda bıraktık.

Ne bulduk?

Bu neden oluyor ve ne zaman bir tercih?

Bunun büyük kısmı muhtemelen bilinçli. Birçok site sahibi içeriğinin modelleri eğitmek için kullanılmasını istemiyor ve kazıyıcıları engelleyen bot koruma ayarları kolayca açılabiliyor. Bu makul bir tercihtir.

Sorun şu ki yapay zeka şirketleri eğitim ve arama için ayrı tarayıcılar çalıştırıyor. Eğitim tarayıcısını engellemek, arama tarayıcısını engellemeyi gerektirmez; sayfanızın bir yanıtta alıntılanmasına yol açabilecek olan da arama tarayıcısıdır.

En büyük siteler daha mı iyi durumda?

Pek değil. En popüler 1.000 alan adı üzerindeki robots.txt raporumuzda, robots.txt dosyası olan sitelerin %29,9'u en az bir yapay zeka eğitim tarayıcısını engelliyor ve bunların %63,2'si ayrıca en az bir yapay zeka arama veya kullanıcı tarayıcısını da engelliyor. Eğitimi engelleyip tüm yapay zeka arama tarayıcılarına izin verenler yalnızca %11,0; çoğunun muhtemelen istediği düzen bu.

Kendi sitemi on dakikada nasıl kontrol ederim?

  1. yoursite.com/robots.txt adresini açın. Önem verdiğiniz her yapay zeka tarayıcısı için, onu adıyla anan bir grup olup olmadığına ve grubun ne dediğine bakın. Bir tarayıcıyı adıyla anan grup, genel * grubunun yerini tamamen alır.
  2. Dosyanın ne dediğini değil, sunucunun ne yaptığını test edin. Önemli sayfanızı tarayıcı olarak ve tarayıcı botu olarak isteyin. 403, 429, başlığı Just a moment... olan bir sayfa veya tarayıcınınkinden çok daha küçük bir yanıt, güvenlik duvarı engelinin işaretidir.
  3. Asistana sorun. Arama açıkken ChatGPT'ye veya Perplexity'ye alıcılarınızın sorduğu soruları sorun ve hangi siteleri alıntıladığına bakın. Erişim sorunsuzsa ve hâlâ listede yoksanız, sorun erişimde değil içeriktedir.

Bu rakamlar ne kadar güvenilir?

Bunları bir sayım olarak değil, bir örüntü olarak ele alın. Örneklem rastgele değil: bu şirketleri reklam kütüphaneleri, iş ilanı siteleri ve harita kayıtları üzerinden bulduk. Testi tek bir adresten kullanıcı aracısına göre yapıyoruz; gerçek tarayıcılar ise üreticilerinin yayımladığı adreslerden gelir, bu yüzden bazı güvenlik duvarları gerçeklerine farklı davranır. Üstelik bir engel her zaman bir hata değildir.

Ücretsiz araçlar

Sonraki adımlar

Bu makaledeki tarayıcılar

Sık sorulan sorular

Web sitelerinin yüzde kaçı yapay zeka tarayıcılarını engelliyor?

Test edilebilen 165 işletme sitesinin denetiminde, %38'i en az bir yapay zeka tarayıcısını sunucu düzeyinde geri çevirdi; çoğunlukla eğitim ve kazıma botlarını. Yaklaşık %10'u ayrıca bir yapay zeka arama tarayıcısını reddetti.

GPTBot'u engellemek siteyi ChatGPT aramasının dışında bırakır mı?

Hayır. OpenAI, tarayıcıları için her robots.txt ayarının bağımsız olduğunu söylüyor: GPTBot eğitimle, OAI-SearchBot ChatGPT aramasıyla ilgilidir. Birini engellemek diğerini engellemez.

Bir site robots.txt olmadan bir tarayıcıyı nasıl engelleyebilir?

Bir güvenlik duvarı, CDN veya bot koruma kuralı tarayıcıya 403, 429 veya bir doğrulama sayfasıyla yanıt verebilir. robots.txt bunu hiç göstermez; bu yüzden sayfayı tarayıcı olarak isteyerek test etmek gerekir.

Bir tarayıcıyı geri çevirmek her zaman hata mıdır?

Hayır. Birçok site sahibi eğitim tarayıcılarını ve kazıyıcıları uzak tutmak istiyor. Hata, arama tarayıcılarını yanlışlıkla engellemektir; çünkü sayfanızı alıntılayabilecek olanlar onlardır.

Kaynaklar

Diğer makaleler