ClaudeBot
ClaudeBot, Anthropic'in üretken yapay zekâ modellerini eğitmek için kullanılabilecek web içerikleri için çalıştırdığı tarayıcıdır. robots.txt içinde yasaklamak, sitenizin gelecekteki içeriğinin eğitimden hariç tutulması gerektiğini bildirir. Yalnızca bunu engellemek, arama ve anlık yanıtlara hizmet eden Claude-SearchBot veya Claude-User'ı durdurmaz.
Ne yapar
Anthropic, ClaudeBot'un modellerinin eğitimine katkıda bulunabilecek web içeriklerini, modellerin yararını ve güvenliğini artırmak için topladığını söylüyor. ClaudeBot'u yasaklamak, sitenizin gelecekteki materyallerinin eğitim veri kümelerinden hariç tutulması gerektiğini bildirir.
Anthropic ayrıca standart dışı Crawl-delay yönergesini de destekler; böylece ClaudeBot'u engellemek yerine yavaşlatabilirsiniz. robots.txt içinde ClaudeBot'u adıyla anan kurallar, Anthropic'in genel yapay zekâ eğitimine izin vermeme sinyalinden önceliklidir. robots.txt kuralları ana makine (host) başınadır; kapsamak istediğiniz her alt alan adına ekleyin.
2026-11 tarihli çalışmamızda, robots.txt dosyası olan popüler sitelerin 21.2% kadarı bunu engelliyordu. →
robots.txt token'ı
ClaudeBot
Nasıl izin verilir
User-agent: ClaudeBot
Allow: /Nasıl engellenir
User-agent: ClaudeBot
Disallow: /Gerçek ziyaretler nasıl doğrulanır
Anthropic, tarayıcılarının IP adreslerini claude.com/crawling/bots.json adresinde yayımlar ve IP'si bu listede olan bir tarayıcının Anthropic'ten geldiğini söyler. User agent'a güvenmek yerine kaynak IP'yi listeyle karşılaştırın. Anthropic, reddetmek için IP engellemesi kullanmamayı öneriyor; çünkü bu, tarayıcının robots.txt'yi okumasını da engeller.
Sitenizin buna izin verip vermediğini denetleyin →
Anthropic'in crawler'ları: ClaudeBot, Claude-SearchBot ve Claude-User →