Yapay zekâ tarayıcıları için robots.txt oluşturucu
Hangi yapay zekâ tarayıcılarının sitenizi okuyabileceğini seçin ve oluşturulan robots.txt dosyasını kopyalayın. Yaygın bir tercih, GPTBot ve ClaudeBot gibi yapay zekâ eğitim tarayıcılarını engelleyip OAI-SearchBot ve PerplexityBot gibi yapay zekâ arama tarayıcılarına izin vermektir; böylece sayfalarınız yapay zekâ yanıtlarında yine görünebilir ve alıntılanabilir.
Kullanıcı isteğiyle çeken araçları engellemenin etkisi sınırlıdır: bazı sağlayıcılar, sayfayı bir kişi istediği için bu ajanların robots.txt'e uymayabileceğini söyler. Yayımlamadan önce sonucu robots.txt denetleyiciyle test edin. Yapay zekâ tarayıcıları için robots.txt denetleyici →
Nasıl kullanılır
Dosyayı alan adınızın köküne koyun (https://example.com/robots.txt). Diğer tarayıcılar için zaten kurallarınız varsa onları koruyun ve yalnızca yapay zekâ gruplarını ekleyin. Değişiklikler her tarayıcı dosyayı bir sonraki okuduğunda, genellikle bir gün içinde geçerli olur.