Claude-User
Claude-User, bir Claude kullanıcısı bunu gerektiren bir soru sorduğunda, örneğin paylaşılan bir bağlantıyı okumak için bir web sitesini ziyaret eder. Anthropic, botlarının robots.txt'ye uyduğunu ve Claude-User'ı engellemenin içeriğinizin kullanıcı sorgularına yanıt olarak alınmasını önlediğini, bunun da kullanıcı yönlendirmeli web aramasındaki görünürlüğünüzü azaltabileceğini söylüyor.
Ne yapar
Anthropic, Claude-User'ı Claude kullanıcılarını desteklemek için kullanır: biri Claude'a soru sorduğunda, yanıtlamak için bir web sitesine erişebilir. Bunlar bir kullanıcı adına yapılan tekil getirmelerdir, genel bir tarama değildir.
Kullanıcı isteğiyle çalışan getiricilerinin robots.txt'ye uymayabileceğini söyleyen OpenAI ve Perplexity'nin aksine Anthropic, botlarının robots.txt yönergelerine uyduğunu belirtir ve Claude-User'ın orada nasıl engelleneceğini anlatır. Bunu yapmak, kullanıcılar sayfalarınızı sorduğunda Claude'un onları almasını önler.
2026-11 tarihli çalışmamızda, robots.txt dosyası olan popüler sitelerin 13.1% kadarı bunu engelliyordu. →
robots.txt token'ı
Claude-User
Nasıl izin verilir
User-agent: Claude-User
Allow: /Nasıl engellenir
User-agent: Claude-User
Disallow: /Gerçek ziyaretler nasıl doğrulanır
Anthropic, tarayıcılarının IP adreslerini claude.com/crawling/bots.json adresinde yayımlar ve IP'si bu listede olan bir tarayıcının Anthropic'ten geldiğini söyler. User agent'a güvenmek yerine kaynak IP'yi listeyle karşılaştırın. Anthropic, reddetmek için IP engellemesi kullanmamayı öneriyor; çünkü bu, tarayıcının robots.txt'yi okumasını da engeller.
Sitenizin buna izin verip vermediğini denetleyin →
Anthropic'in crawler'ları: ClaudeBot, Claude-SearchBot ve Claude-User →