Yapay zekâ tarayıcıları için robots.txt denetleyici

Bir sayfa adresi girin: sitenin robots.txt dosyasını okur ve her yapay zekâ ve arama tarayıcısı için o sayfayı getirip getiremeyeceğini gösteririz. Ya da yayımlamadan önce test etmek için bir robots.txt yapıştırın.

robots.txt yalnızca bir ricadır. Bir güvenlik duvarı veya bot koruması, robots.txt'nin izin verdiği bir tarayıcıyı yine de engelleyebilir; tam denetim bunu test eder. Tam denetimi çalıştır →

Yapay zekâ tarayıcıları robots.txt'yi nasıl okur

Her tarayıcı, kendi token'ını (örneğin GPTBot veya PerplexityBot) adlandıran grubu izler; hiçbir grup adlandırmıyorsa User-agent: * grubunu izler. Bir grup içinde en uzun eşleşen kural kazanır, eşitlikte Allow kazanır. GPTBot, ClaudeBot veya Google-Extended gibi eğitim tarayıcılarını engellemek içeriğinizi model eğitiminin dışında tutar; OAI-SearchBot, ChatGPT-User veya PerplexityBot gibi arama ve kullanıcı tarayıcılarını engellemek ise sayfalarınızı yapay zekâ yanıtlarının dışında tutar.