AISeeWhy
TR
Ücretsiz denemeyi başlat

Anthropic'in crawler'ları: ClaudeBot, Claude-SearchBot ve Claude-User

Yayınlanma

Kısa cevap

Anthropic üç ajan çalıştırır: ClaudeBot modellerini eğitmek için kullanılabilecek içeriği toplar, Claude-SearchBot Claude'un arama sonuçlarını iyileştirmek için tarama yapar, Claude-User ise bir Claude kullanıcısının sorusu gerektirdiğinde sayfaları çeker. Her birinin kendi robots.txt token'ı vardır ve Anthropic üçünün de robots.txt'ye uyduğunu söylüyor. Yalnızca ClaudeBot'u engellemek aramayı veya kullanıcı çekmelerini durdurmaz.

Anthropic crawler'larını tek bir yardım sayfasında belgeliyor ve yapı diğer AI sağlayıcılarınkini yansıtıyor: eğitim için bir ajan, arama için bir ajan ve kullanıcı adına canlı çekmeler için bir ajan. Claude'un sayfalarınızı bulup alıntılayabilmesini istiyorsanız en çok son ikisi önem taşır.

Bu sayfada
  1. ClaudeBot ne yapar?
  2. Claude-SearchBot ne yapar?
  3. Claude-User ne yapar?
  4. Claude için robots.txt kurallarını nasıl yazarım?
  5. Anthropic'in yapısı OpenAI ve Perplexity ile nasıl karşılaştırılır?
  6. Anthropic'i IP adresine göre engellemeli miyim?
  7. Claude neden hâlâ sayfamı okuyamayabilir?

ClaudeBot ne yapar?

ClaudeBot, Anthropic'in üretken yapay zekâ modellerinin eğitimine katkıda bulunabilecek web içeriğini toplar. Anthropic'e göre onu engellemek, sitenizin gelecekteki içeriğinin eğitim veri kümelerinin dışında tutulması gerektiğini bildirir.

Anthropic ayrıca bir IETF taslağına dayanan, makine tarafından okunabilir bir AI eğitimi yasağı sinyaline uyduğunu ve robots.txt'de ClaudeBot'u adıyla anan kuralların bu genel ayara göre öncelikli olduğunu söylüyor. Diğer eğitim crawler'larında olduğu gibi, onu engellemek bir politika tercihidir.

Claude-SearchBot ne yapar?

Claude-SearchBot, Claude'daki arama sonuçlarının alaka ve doğruluğunu iyileştirmek için web'i tarar. Anthropic, onu engellemenin içeriğinizin arama için dizinlenmesini önlediğini, bunun da kullanıcı arama sonuçlarındaki görünürlüğünüzü ve doğruluğunuzu azaltabileceğini söylüyor.

Claude'un arama özelliklerinin, kimse sormadan önce sayfalarınızı bilmesini istiyorsanız izin vermeniz gereken ajan budur. Bir arama crawler'ı olduğundan, her arama crawler'ının yararlandığı şeylerden yararlanır: robots.txt'de listelenen bir sitemap, temiz iç bağlantılar ve içeriğini ilk yanıtta döndüren sayfalar.

Claude-User ne yapar?

Claude-User, bir Claude kullanıcısı bunu gerektiren bir soru sorduğunda, örneğin biri bir URL paylaştığında veya Claude'dan bir şeyi araştırmasını istediğinde bir web sitesine erişir. Anthropic, onu engellemenin kullanıcı sorularına karşılık alma işlemini önlediğini, bunun da kullanıcı yönlendirmeli web aramasındaki görünürlüğünüzü azaltabileceğini söylüyor.

Bazı diğer sağlayıcılardan bir farka dikkat edin. Anthropic, botlarının robots.txt yönergelerine uyduğunu belirtiyor ve Claude-User'ı robots.txt üzerinden engellemeyi anlatıyor. Buna karşılık OpenAI ve Perplexity, kullanıcı isteğiyle çalışan çekicilerinin robots.txt'yi izlemeyebileceğini söylüyor.

Claude için robots.txt kurallarını nasıl yazarım?

Her ajanın kendi token'ı vardır ve RFC 9309'a göre bir crawler'ı adıyla anan grup, o crawler için * grubunun yerini alır. Yaygın bir tercih, aramaya ve kullanıcı çekmelerine izin verip eğitimden çıkmaktır:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic ayrıca Crawl-delay'i standart dışı bir uzantı olarak destekler; taramayı engellemek yerine yavaşlatmak isterseniz, örneğin User-agent: ClaudeBot altında Crawl-delay: 1 kullanabilirsiniz. Kurallar her host'un üst düzey dizinindeki robots.txt'de bulunmalıdır; bu yüzden kapsamak istediğiniz her alt alan adına ekleyin.

Anthropic'in yapısı OpenAI ve Perplexity ile nasıl karşılaştırılır?

Üç sağlayıcı da aynı kalıbı farklı adlarla izler; bu da birleşik bir robots.txt'yi kavramayı kolaylaştırır. Asıl fark, her birinin kullanıcı isteğiyle yapılan canlı çekmelerde robots.txt'ye nasıl davrandığıdır.

Üçü için tek bir robots.txt yazıyorsanız arama ve kullanıcı token'larını bir gruba, eğitim token'larını başka bir gruba koyun. Bu, politikayı okunur tutar ve her amaç için ne seçtiğinizi görünür kılar.

Anthropic'i IP adresine göre engellemeli miyim?

Anthropic buna karşı öneride bulunuyor. Belgelerine göre IP adreslerini engellemek doğru çalışmayabilir ve çıkışı kalıcı olarak garanti etmeyebilir; çünkü crawler'ın robots.txt'nizi okumasını da engeller. Politikanızı belirtmek için robots.txt'yi kullanın.

Anthropic crawler IP adreslerini claude.com/crawling/bots.json adresinde yayımlıyor. Bu listeyi kullanmanın yararlı yolu engellemenin tersidir: güvenlik duvarınızın Claude-SearchBot veya Claude-User olduğunu söyleyen bir isteğin gerçekten Anthropic'ten geldiğini doğrulamasına izin verin ve geçirin.

Claude neden hâlâ sayfamı okuyamayabilir?

Robots.txt izin verici olsa bile güvenlik duvarınız ya da CDN'iniz Anthropic'in ajanlarına 403 veya doğrulama sayfasıyla yanıt verebilir. Anthropic, botlarının engelleme aşmaya karşı teknolojilere saygı gösterdiğini ve CAPTCHA'ları aşmaya çalışmayacağını söylüyor; bu yüzden bir doğrulama sayfası ziyareti basitçe sonlandırır. Metni yalnızca JavaScript çalıştıktan sonra görünen sayfalar da neredeyse boş ulaşabilir.

AISeeWhy sayfanızı bir tarayıcının yanında ClaudeBot, Claude-SearchBot ve Claude-User olarak ister ve her biri için robots.txt kurallarınızı kontrol eder; böylece yazdığınız politikanın sunucunuzun uyguladığı politika olup olmadığını görebilirsiniz.

Sık sorulan sorular

ClaudeBot'u engellemek sitemi Claude'un yanıtlarından çıkarır mı?

Tek başına çıkarmaz. Arama dizinleme ve kullanıcı isteğiyle yapılan çekmeler, kendi robots.txt token'ları olan Claude-SearchBot ve Claude-User'ı kullanır.

Claude-User robots.txt'yi izler mi?

Anthropic botlarının robots.txt'ye uyduğunu söylüyor ve Claude-User'ı orada engellemeyi anlatıyor; sonuçta Claude kullanıcı soruları için sayfalarınızı çekemez.

Anthropic'in crawler'ları CAPTCHA çözer mi?

Hayır. Anthropic botlarının engelleme aşmaya karşı teknolojilere saygı gösterdiğini ve CAPTCHA'ları aşmaya çalışmayacağını söylüyor.

ClaudeBot'u engellemek yerine yavaşlatabilir miyim?

Evet. Anthropic Crawl-delay'i standart dışı bir uzantı olarak destekler; örneğin robots.txt'nizin ClaudeBot grubunda Crawl-delay: 1.

Bir isteğin gerçekten Anthropic'ten geldiğini nasıl doğrularım?

Kaynak IP'yi Anthropic'in claude.com/crawling/bots.json adresinde yayımladığı listeyle karşılaştırın. Bir user agent'ı herkes kopyalayabilir.

Kaynaklar

Diğer makaleler