AISeeWhy
CS
Spustit zkušební verzi zdarma

Crawlery Anthropic: ClaudeBot, Claude-SearchBot a Claude-User

Publikováno

Stručná odpověď

Anthropic provozuje tři agenty: ClaudeBot sbírá obsah, který se může použít k trénování jejích modelů, Claude-SearchBot prochází web, aby zlepšil výsledky vyhledávání v Claude, a Claude-User stahuje stránky, když je potřebuje dotaz uživatele Claude. Každý má vlastní token v robots.txt a Anthropic uvádí, že všichni tři robots.txt dodržují. Zablokování samotného ClaudeBot nezastaví vyhledávání ani stahování na žádost uživatele.

Anthropic dokumentuje své crawlery na jedné stránce nápovědy a struktura odpovídá ostatním dodavatelům AI: jeden agent pro trénování, jeden pro vyhledávání a jeden pro živé stahování jménem uživatele. Pokud chcete, aby Claude mohl vaše stránky najít a citovat, jsou nejdůležitější poslední dva.

Na této stránce
  1. Co dělá ClaudeBot?
  2. Co dělá Claude-SearchBot?
  3. Co dělá Claude-User?
  4. Jak napsat pravidla robots.txt pro Claude?
  5. Jak se nastavení Anthropic liší od OpenAI a Perplexity?
  6. Mám Anthropic blokovat podle IP adresy?
  7. Proč by Claude mohl moji stránku nepřečíst?

Co dělá ClaudeBot?

ClaudeBot sbírá webový obsah, který by mohl přispět k trénování generativních AI modelů Anthropic. Podle Anthropic jeho zakázání signalizuje, že budoucí obsah vašeho webu má být z trénovacích datových sad vyloučen.

Anthropic také uvádí, že respektuje strojově čitelný signál zákazu trénování AI vycházející z návrhu IETF a že pravidla jmenující ClaudeBot v robots.txt mají přednost před tímto obecným nastavením. Stejně jako u jiných trénovacích crawlerů je jeho zablokování rozhodnutí politiky.

Co dělá Claude-SearchBot?

Claude-SearchBot prochází web, aby zlepšil relevanci a přesnost výsledků vyhledávání v Claude. Anthropic uvádí, že jeho zablokování brání indexování vašeho obsahu pro vyhledávání, což může snížit vaši viditelnost a přesnost ve výsledcích vyhledávání uživatelů.

Tohoto agenta povolte, pokud chcete, aby vyhledávací funkce Claude znaly vaše stránky dřív, než se na ně někdo zeptá. Protože jde o vyhledávací crawler, profituje ze stejných věcí jako každý vyhledávací crawler: sitemapy uvedené v robots.txt, čistých interních odkazů a stránek, které vrací obsah už v první odpovědi.

Co dělá Claude-User?

Claude-User přistupuje na web, když uživatel Claude položí otázku, která to vyžaduje, například když někdo sdílí adresu URL nebo požádá Claude, aby něco vyhledal. Anthropic uvádí, že jeho zablokování brání načtení stránek v reakci na dotazy uživatelů, což může snížit vaši viditelnost ve webovém vyhledávání řízeném uživatelem.

Všimněte si rozdílu oproti některým jiným dodavatelům. Anthropic uvádí, že jeho boti dodržují direktivy robots.txt, a popisuje zablokování Claude-User přes robots.txt. OpenAI a Perplexity naproti tomu uvádějí, že jejich agenti jednající na žádost uživatele se robots.txt nemusí řídit.

Jak napsat pravidla robots.txt pro Claude?

Každý agent má vlastní token a skupina, která crawler jmenuje, pro něj podle RFC 9309 nahrazuje skupinu *. Běžnou volbou je povolit vyhledávání a stahování na žádost uživatele a odmítnout trénování:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic podporuje také Crawl-delay jako nestandardní rozšíření, například Crawl-delay: 1 pod User-agent: ClaudeBot, pokud chcete procházení zpomalit místo blokování. Pravidla musí být v robots.txt v kořenovém adresáři každého hostu, takže je přidejte ke každé subdoméně, kterou chcete pokrýt.

Jak se nastavení Anthropic liší od OpenAI a Perplexity?

Všichni tři dodavatelé se řídí stejným vzorem s jinými názvy, takže se o společném robots.txt dobře uvažuje. Hlavní rozdíl je v tom, jak každý z nich zachází s robots.txt při živém stahování na žádost uživatele.

Pokud pro všechny tři píšete jeden robots.txt, dejte vyhledávací tokeny a tokeny pro uživatele do jedné skupiny a trénovací tokeny do jiné. Politika zůstane čitelná a bude zřejmé, jak jste se rozhodli pro každý účel.

Mám Anthropic blokovat podle IP adresy?

Anthropic to nedoporučuje. Jeho dokumentace uvádí, že blokování IP adres nemusí fungovat správně ani trvale zaručit odhlášení, protože crawleru zároveň brání přečíst váš robots.txt. K vyjádření politiky použijte robots.txt.

Anthropic IP adresy svých crawlerů zveřejňuje na claude.com/crawling/bots.json. Užitečné využití tohoto seznamu je opakem blokování: nechte firewall ověřit, že požadavek tvrdící, že je Claude-SearchBot nebo Claude-User, skutečně pochází od Anthropic, a pusťte ho dál.

Proč by Claude mohl moji stránku nepřečíst?

I při tolerantním robots.txt může váš firewall nebo CDN agentům Anthropic odpovědět kódem 403 nebo ověřovací stránkou. Anthropic uvádí, že jeho boti respektují technologie proti obcházení a nebudou se pokoušet obejít CAPTCHA, takže ověřovací stránka návštěvu prostě ukončí. Stránky, jejichž text se objeví až po spuštění JavaScriptu, mohou také dorazit téměř prázdné.

AISeeWhy si vyžádá vaši stránku jako ClaudeBot, Claude-SearchBot a Claude-User vedle prohlížeče a ověří pravidla ve vašem robots.txt pro každého z nich, takže uvidíte, zda politika, kterou jste napsali, je ta, kterou váš server skutečně vynucuje.

Časté dotazy

Odstraní zablokování ClaudeBot můj web z odpovědí Claude?

Samo o sobě ne. Indexování pro vyhledávání a stahování na žádost uživatele používají Claude-SearchBot a Claude-User, které mají vlastní tokeny v robots.txt.

Řídí se Claude-User souborem robots.txt?

Anthropic uvádí, že jeho boti robots.txt dodržují, a popisuje zablokování Claude-User tam, s tím účinkem, že Claude nemůže vaše stránky pro dotazy uživatelů načíst.

Řeší crawlery Anthropic CAPTCHA?

Ne. Anthropic uvádí, že jeho boti respektují technologie proti obcházení a nebudou se pokoušet obejít CAPTCHA.

Mohu ClaudeBot zpomalit místo zablokování?

Ano. Anthropic podporuje Crawl-delay jako nestandardní rozšíření, například Crawl-delay: 1 ve skupině ClaudeBot vašeho robots.txt.

Jak ověřím, že požadavek skutečně pochází od Anthropic?

Porovnejte zdrojovou IP se seznamem, který Anthropic zveřejňuje na claude.com/crawling/bots.json. User agent může zkopírovat kdokoli.

Zdroje

Další články