Claude-SearchBot
Claude-SearchBot, Claude'daki arama sonuçlarının alaka düzeyini ve doğruluğunu artırmak için web'i tarar. Anthropic, engellemenin içeriğinizin arama için dizine eklenmesini önlediğini, bunun da kullanıcı arama sonuçlarındaki görünürlüğünüzü ve doğruluğu azaltabileceğini söylüyor. Claude'un sayfalarınızı bulup kaynak göstermesini istiyorsanız izin verin.
Ne yapar
Anthropic, Claude-SearchBot'u web'de gezinmek ve Claude kullanıcıları için arama sonuçlarının kalitesini artırmak için kullanır. Eğitim tarayıcısı ClaudeBot'tan ayrıdır; bu yüzden eğitimi reddedip aramaya izin verebilirsiniz.
Anthropic, Claude-SearchBot'u devre dışı bırakmanın içeriğinizin arama iyileştirmesi için dizine eklenmesini önlediğini, bunun da sitenizin kullanıcı arama sonuçlarındaki görünürlüğünü ve doğruluğunu azaltabileceğini söylüyor. Anthropic botları robots.txt'ye uyar ve aşmaya karşı önlemlere saygı gösterir; bu yüzden bir CAPTCHA veya doğrulama sayfası ziyareti sonlandırır.
2026-11 tarihli çalışmamızda, robots.txt dosyası olan popüler sitelerin 12.9% kadarı bunu engelliyordu. →
robots.txt token'ı
Claude-SearchBot
Nasıl izin verilir
User-agent: Claude-SearchBot
Allow: /Nasıl engellenir
User-agent: Claude-SearchBot
Disallow: /Gerçek ziyaretler nasıl doğrulanır
Anthropic, tarayıcılarının IP adreslerini claude.com/crawling/bots.json adresinde yayımlar ve IP'si bu listede olan bir tarayıcının Anthropic'ten geldiğini söyler. User agent'a güvenmek yerine kaynak IP'yi listeyle karşılaştırın. Anthropic, reddetmek için IP engellemesi kullanmamayı öneriyor; çünkü bu, tarayıcının robots.txt'yi okumasını da engeller.
Sitenizin buna izin verip vermediğini denetleyin →
Anthropic'in crawler'ları: ClaudeBot, Claude-SearchBot ve Claude-User →