AISeeWhy
TR
Ücretsiz denemeyi başlat

OpenAI crawler'ları: GPTBot, OAI-SearchBot ve ChatGPT-User

Yayınlanma

Kısa cevap

OpenAI, modellerini eğitebilecek içeriği toplamak için GPTBot'u, ChatGPT araması için sayfaları dizinlemek için OAI-SearchBot'u, kullanıcının istediği ziyaretler için de ChatGPT-User'ı kullanır. GPTBot'u engellemek sizi yalnızca eğitimden çıkarır. OAI-SearchBot'u engellemek sizi ChatGPT arama yanıtlarından çıkarır. robots.txt ChatGPT-User için geçerli olmayabilir.

Aynı şirketten, her biri kendi robots.txt token'ına sahip üç farklı user agent epey kafa karışıklığı yaratıyor. Birçok site GPTBot ortaya çıktığında onu engelledi; bazıları sonradan, çoğu kez geniş bir güvenlik duvarı kuralı yüzünden, ChatGPT'nin kendilerini alıntılayıp alıntılayamayacağını belirleyen crawler'ı da engellediklerini fark etti. Bu makale her ajanı OpenAI'ın kendi belgelerine dayanarak ele alıyor.

Bu sayfada
  1. GPTBot ne yapar?
  2. OAI-SearchBot ne yapar?
  3. ChatGPT-User ne yapar?
  4. Her birini engellersem ne olur?
  5. OpenAI crawler'ları için hangi robots.txt'yi kullanmalıyım?
  6. Güvenlik duvarının onları geçirdiğini nasıl doğrularım?

GPTBot ne yapar?

GPTBot, OpenAI'ın üretken yapay zekâ temel modellerinin eğitiminde kullanılabilecek içeriği tarar. OpenAI'ın belgelerine göre GPTBot'u engellemek, sitenin içeriğinin bu modellerin eğitiminde kullanılmaması gerektiğini bildirir.

User agent'ı GPTBot token'ını içerir, örneğin Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI sürüm numarasının değişebileceğini not ediyor; bu yüzden tam dizeyle değil token ile eşleştirin. OpenAI IP aralıklarını openai.com/gptbot.json adresinde yayımlıyor.

İzin verip vermemek bir politika kararıdır. Bazı yayıncılar içeriklerinin eğitim verisinde yer almasını ister, bazıları istemez. Onu engellemek ChatGPT aramasını etkilemez, çünkü arama başka bir crawler'la yapılır. Sonradan fikir değiştirirseniz Disallow satırını kaldırmanız yeterli; kaydolmanız ya da başvurmanız gereken bir şey yok.

OAI-SearchBot ne yapar?

OAI-SearchBot, OpenAI'ın arama crawler'ıdır. Web sitelerini ChatGPT'nin arama özelliklerinde görünür kılar. OpenAI, OAI-SearchBot'tan çıkmayı seçen sitelerin ChatGPT arama yanıtlarında gösterilmeyeceğini açıkça belirtiyor.

ChatGPT'nin sayfalarınızı alıntılamasını istiyorsanız izin vermeniz gereken crawler budur; hem robots.txt'de hem de güvenlik duvarında. IP aralıkları openai.com/searchbot.json adresinde yayımlanır; böylece bir güvenlik duvarı isteğin gerçekten OpenAI'dan geldiğini doğrulayabilir.

ChatGPT-User ne yapar?

ChatGPT-User olağan anlamda bir crawler değildir. Bir ChatGPT kullanıcısı ya da bir Custom GPT sayfayı istediğinde, örneğin biri URL'nizi sohbete yapıştırıp özet istediğinde, o sayfayı çeker. OpenAI, web'in otomatik taranması için kullanılmadığını söylüyor.

OpenAI'ın belgelerinden iki ayrıntı burada önemlidir. Birincisi, bu işlemleri kullanıcı başlattığı için robots.txt kuralları geçerli olmayabilir. İkincisi, ChatGPT-User içeriğin aramada görünüp görünemeyeceğini belirlemek için kullanılmaz. Arama için önemli olan ayar OAI-SearchBot ayarıdır.

Her birini engellersem ne olur?

OpenAI ayrıca, hem GPTBot hem de OAI-SearchBot izinliyse, iki kez taramamak için bir taramanın sonuçlarını her iki amaçla da kullanabileceğini not ediyor.

OpenAI crawler'ları için hangi robots.txt'yi kullanmalıyım?

ChatGPT yanıtlarında görünmek isteyen çoğu site için arama crawler'ına izin verin, eğitim konusunda ayrıca karar verin. Bu dosya aramaya izin verir ve eğitimden çıkar:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

RFC 9309'un bir ayrıntısına dikkat edin: crawler kendisini adıyla anan grubu izler ve * grubunu yok sayar. Yukarıdaki örnekte OAI-SearchBot, kendi grubunda Disallow: /admin/ satırı olmadığı için /admin/ bölümüne girebilir. Gizli kalmasını istediğiniz yolları adı geçen her grupta yineleyin. OpenAI, arama değişikliklerinin uygulanmasının yaklaşık 24 saat sürebileceğini söylüyor.

Güvenlik duvarının onları geçirdiğini nasıl doğrularım?

robots.txt yalnızca politikanızı belirtir. Her isteğin gerçekte ne aldığına güvenlik duvarı ya da CDN karar verir. Bir sayfayı her crawler'ın user agent'ıyla isteyin ve durum kodunu ile gövde boyutunu bir tarayıcı isteğiyle karşılaştırın. Crawler için 403, 429 veya doğrulama sayfası, tarayıcı için normal sayfa geliyorsa güvenlik duvarı robots.txt'nizi geçersiz kılıyor demektir.

AISeeWhy bu karşılaştırmayı üç OpenAI ajanı için birden yapar, OAI-SearchBot ve ChatGPT-User engellerini alıntıya mal oldukları için P1 olarak işaretler; engellenmiş bir GPTBot'u ise hata değil, P3 düzeyinde bir politika tercihi olarak listeler.

Sık sorulan sorular

GPTBot ile ChatGPT aynı şey mi?

Hayır. GPTBot eğitim verisi için çalışan bir crawler'dır. ChatGPT araması OAI-SearchBot'u kullanır; kullanıcıların istediği canlı ziyaretler ise ChatGPT-User'dan gelir.

ChatGPT aramasına izin verip eğitimi engelleyebilir miyim?

Evet. robots.txt'de OAI-SearchBot'a izin verin, GPTBot'u engelleyin. OpenAI bu iki ayarı bağımsız olarak belgeliyor.

OpenAI'ı IP adresine göre engellemeli miyim?

IP ile engellemek crawler'ın robots.txt'nizi okumasını önler ve politikanızı değiştirmeyi zorlaştırır. Genellikle politikayı robots.txt'de belirtmek, yayımlanan IP aralıklarını ise OpenAI crawler'larını engellemek için değil doğrulamak için kullanmak daha iyidir.

Neden tam user agent yerine token ile eşleştirmeliyim?

OpenAI, user agent'larındaki sürüm numarasının değişebileceğini ve yayımladığı örnek dizelerin crawler'dan crawler'a farklı olduğunu söylüyor. GPTBot veya OAI-SearchBot ile eşleşen kurallar güncellemeden sonra da çalışmaya devam eder; tam dizeyle eşleşen kurallar fark edilmeden eşleşmeyi bırakabilir.

Kaynaklar

Diğer makaleler