AISeeWhy
TR
Ücretsiz denemeyi başlat

ChatGPT web sitemi görebiliyor mu? Nasıl kontrol edilir

Yayınlanma

Kısa cevap

ChatGPT sayfanızı yalnızca OpenAI'ın arama crawler'ı OAI-SearchBot onu çekebiliyorsa ve bir tarayıcının aldığı HTML'in aynısını alıyorsa alıntılayabilir. Üç şeyi kontrol edin: robots.txt dosyanız OAI-SearchBot'u engellemiyor, güvenlik duvarınız ya da CDN'iniz ona 403 veya doğrulama sayfasıyla yanıt vermiyor ve ana metin ilk HTML'in içinde yer alıyor.

Birçok site sahibi ChatGPT'ye kendi ürününü soruyor, yerine bir rakibin alıntılandığını görüyor ve ChatGPT'nin siteye ulaşıp ulaşamadığını merak ediyor. Sorunun somut ve test edilebilir bir cevabı var. OpenAI crawler'larının adlarını ve her birinin ne yaptığını yayımlıyor; böylece zincirin her halkasını kontrol edebilirsiniz: robots.txt kurallarını, sunucunuzun gönderdiği yanıtı ve bu yanıttaki içeriği.

Bu sayfada
  1. ChatGPT yanıtları için hangi OpenAI crawler'ları önemli?
  2. ChatGPT için robots.txt dosyamı nasıl kontrol ederim?
  3. robots.txt izin verse bile güvenlik duvarı ChatGPT'yi engelleyebilir mi?
  4. OAI-SearchBot'un ne aldığını nasıl test ederim?
  5. Sayfa açılıyor ama ChatGPT yine de işe yarar bir şey söylemiyorsa?
  6. AISeeWhy bunu nasıl kontrol eder?

ChatGPT yanıtları için hangi OpenAI crawler'ları önemli?

OpenAI, site sahiplerinin genellikle karşılaştığı üç ajanı belgeliyor. Görevleri farklı ve birini engellemek diğerlerini engellemez. OpenAI, her robots.txt ayarının bağımsız olduğunu belirtiyor.

Kısacası: alıntıları OAI-SearchBot, eğitimi GPTBot belirler; ChatGPT-User ise kullanıcının isteğiyle yapılan canlı ziyaretleri yürütür.

ChatGPT için robots.txt dosyamı nasıl kontrol ederim?

Bir tarayıcıda https://yourdomain.com/robots.txt adresini açın. OAI-SearchBot adını geçen bir grup arayın. Yoksa crawler User-agent: * grubunu izler. Geçerli olan gruptaki bir Disallow: / tüm siteyi engeller.

Dosyanın hiç yanıt verip vermediğine de bakın. RFC 9309'a göre robots.txt sunucu hatası (5xx) döndürürse ya da erişilemezse, crawler tüm sitenin yasak olduğunu varsaymak zorundadır. 404 sorun değildir: kural olmadığı anlamına gelir. robots.txt adresinin 200 durum koduyla bir HTML sayfası döndürmesi sık yapılan bir hatadır; çünkü crawler'lar içinde geçerli kural bulamaz.

ChatGPT aramasını açık bırakıp eğitimden çıkan bir yapılandırma şöyle görünür:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI, arama için yapılan değişikliklerin robots.txt güncellendikten yaklaşık 24 saat sonra devreye girebileceğini söylüyor.

robots.txt izin verse bile güvenlik duvarı ChatGPT'yi engelleyebilir mi?

Evet ve bu sık görülen bir neden. robots.txt, düzgün davranan crawler'lara yapılan bir istektir; erişim denetimi değildir. Gerçekte ne döndüğüne güvenlik duvarınız, CDN'iniz ya da bot koruması karar verir. Bir AI crawler'ını istenmeyen bot sayarsa crawler 403, 429 veya Cloudflare'in «Just a moment...» ekranı gibi bir doğrulama sayfası alır; tarayıcıdaki insanlar ise sayfayı normal görür.

Dışarıdan bakınca site herkese açık görünür. Farkı yalnızca crawler olarak kendini tanıtan bir istek ortaya çıkarır. Bu durumda robots.txt evet der, sunucu hayır der ve sunucu kazanır.

OAI-SearchBot'un ne aldığını nasıl test ederim?

Aynı URL'ye iki istek gönderin: biri tarayıcı user agent'ıyla, biri crawler'ın user agent'ıyla; durum kodunu ve boyutu karşılaştırın. OpenAI her crawler için örnek bir user agent yayımlıyor; içindeki sürüm numarası değişebilir.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Tarayıcı büyük bir gövdeyle 200 alıyor, crawler ise 403, 429, 503 ya da çok daha küçük bir gövde alıyorsa güvenlik duvarınız crawler'a farklı davranıyor demektir. Bir sınır var: testiniz OpenAI'ın değil, kendi IP adresinizden gelir. Crawler'ları yayımlanan IP aralıklarıyla doğrulayan güvenlik duvarları (OpenAI bunları openai.com/searchbot.json adresinde listeliyor) gerçek crawler'ı geçirip testinizi engelleyebilir. Yine de bu testteki bir engel, güvenlik duvarının user agent'a nasıl davrandığını gösterir ve düzeltmeye değer.

Sayfa açılıyor ama ChatGPT yine de işe yarar bir şey söylemiyorsa?

Erişim yalnızca ilk adımdır. Gelen HTML, sonradan JavaScript ile doldurulan boş bir iskeletse crawler neredeyse hiç metin almayabilir. Ham HTML'e curl ile ya da tarayıcınızın sayfa kaynağını göster özelliğiyle bakın: ana metin orada yoksa crawler da büyük olasılıkla görmüyordur.

Ardından içerik sinyalleri gelir: sayfanın üstüne yakın net ve kısa bir cevap, insanların sorduğu sorulara uyan başlıklar, adı belli bir yayıncı ve yazar ile görünür tarihler. Bunlar alıntıyı garanti etmez ama sayfanın doğru alıntılanmasını kolaylaştırır.

AISeeWhy bunu nasıl kontrol eder?

AISeeWhy sayfanızı sıradan bir tarayıcının yanında OAI-SearchBot, GPTBot, ChatGPT-User ve 11 başka crawler olarak çeker, robots.txt dosyanızı RFC 9309 kurallarına göre okur ve bir güvenlik duvarı engel ya da doğrulama sayfasıyla yanıt verdiğinde onun adını verir. Her bulgu, yapıştırılabilir düzeltmesiyle gelir; ücretsiz kontrol puanınızı ve ilk bulguyu gösterir.

Sık sorulan sorular

GPTBot'u engellemek sitemi ChatGPT aramasından çıkarır mı?

Hayır. OpenAI her crawler ayarını bağımsız ele alır. GPTBot eğitimle ilgilidir; OAI-SearchBot ise sayfaların ChatGPT arama yanıtlarında gösterilip gösterilemeyeceğini belirler. Birini engelleyip diğerine izin verebilirsiniz.

ChatGPT-User robots.txt'yi izler mi?

OpenAI, bu ziyaretleri kullanıcı başlattığı için robots.txt kurallarının geçerli olmayabileceğini söylüyor. Bu ziyaretleri durdurmak istiyorsanız robots.txt kuralı güvenilir bir denetim değildir.

robots.txt değişikliği ChatGPT'ye ne kadar sürede ulaşır?

OpenAI, robots.txt güncellemesinden sonra sistemlerinin arama için uyum sağlamasının yaklaşık 24 saat sürebileceğini söylüyor.

Erişilebilir olmak alıntılanmak için yeterli mi?

Hayır. Erişim alıntıyı mümkün kılar, ama garanti etmez. Sayfanın ne söylediği ve bunu ne kadar net söylediği, bir yanıtta kullanılıp kullanılmayacağını yine de belirler.

Kaynaklar

Diğer makaleler