AISeeWhy
PL
Bezpłatny okres próbny

Crawlery Anthropic: ClaudeBot, Claude-SearchBot i Claude-User

Opublikowano

Krótka odpowiedź

Anthropic prowadzi trzech agentów: ClaudeBot zbiera treści, które mogą posłużyć do trenowania modeli, Claude-SearchBot przeszukuje sieć, by poprawić wyniki wyszukiwania Claude, a Claude-User pobiera strony, gdy wymaga tego pytanie użytkownika Claude. Każdy ma własny token robots.txt, a Anthropic podaje, że wszyscy trzej go przestrzegają. Samo zablokowanie ClaudeBot nie zatrzymuje wyszukiwania ani pobrań na żądanie użytkownika.

Anthropic opisuje swoje crawlery na jednej stronie pomocy, a struktura odpowiada temu, co robią inni dostawcy AI: jeden agent do trenowania, jeden do wyszukiwania i jeden do pobrań na żywo w imieniu użytkownika. Jeśli chcesz, by Claude mógł znajdować i cytować Twoje strony, najważniejsi są dwaj ostatni.

Na tej stronie
  1. Co robi ClaudeBot
  2. Co robi Claude-SearchBot
  3. Co robi Claude-User
  4. Jak napisać reguły robots.txt dla Claude
  5. Czym podejście Anthropic różni się od OpenAI i Perplexity
  6. Czy blokować Anthropic według adresu IP
  7. Dlaczego Claude mimo to może nie przeczytać mojej strony

Co robi ClaudeBot

ClaudeBot zbiera treści z sieci, które mogą przyczynić się do trenowania generatywnych modeli Anthropic. Według Anthropic jego zablokowanie sygnalizuje, że przyszłe treści witryny powinny zostać wyłączone ze zbiorów treningowych.

Anthropic podaje też, że respektuje odczytywalny maszynowo sygnał zakazu trenowania AI oparty na szkicu IETF, a reguły z nazwą ClaudeBot w robots.txt mają pierwszeństwo przed tym ogólnym ustawieniem. Podobnie jak w przypadku innych crawlerów treningowych, zablokowanie go to kwestia polityki.

Co robi Claude-SearchBot

Claude-SearchBot przeszukuje sieć, by poprawić trafność i dokładność wyników wyszukiwania w Claude. Anthropic podaje, że jego zablokowanie uniemożliwia indeksowanie Twoich treści na potrzeby wyszukiwania, co może zmniejszyć Twoją widoczność i dokładność w wynikach wyszukiwania użytkowników.

To agent, którego warto dopuścić, jeśli chcesz, by funkcje wyszukiwania Claude znały Twoje strony, zanim ktokolwiek o nie zapyta. Skoro jest crawlerem wyszukiwarki, korzysta z tego samego co każdy taki crawler: mapy witryny wskazanej w robots.txt, czystego linkowania wewnętrznego i stron, które zwracają treść już w pierwszej odpowiedzi.

Co robi Claude-User

Claude-User odwiedza witrynę, gdy wymaga tego pytanie użytkownika Claude, na przykład gdy ktoś udostępnia adres URL albo prosi Claude o sprawdzenie czegoś. Anthropic podaje, że jego zablokowanie uniemożliwia pobieranie stron w odpowiedzi na zapytania użytkowników, co może zmniejszyć Twoją widoczność w wyszukiwaniu w sieci kierowanym przez użytkownika.

Zwróć uwagę na różnicę względem niektórych innych dostawców. Anthropic zapewnia, że jego boty przestrzegają dyrektyw robots.txt, i opisuje zablokowanie Claude-User przez robots.txt. OpenAI i Perplexity natomiast podają, że ich pobierające na żądanie użytkownika agenty mogą nie przestrzegać robots.txt.

Jak napisać reguły robots.txt dla Claude

Każdy agent ma własny token, a grupa, w której wymieniono crawlera, zastępuje dla niego grupę * zgodnie z RFC 9309. Częsty wybór to dopuszczenie wyszukiwania i pobrań na żądanie użytkownika oraz rezygnacja z trenowania:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic obsługuje też Crawl-delay jako niestandardowe rozszerzenie, na przykład Crawl-delay: 1 w grupie User-agent: ClaudeBot, jeśli chcesz spowolnić przeszukiwanie zamiast je blokować. Reguły muszą znajdować się w robots.txt w katalogu głównym każdego hosta, więc dodaj je w każdej subdomenie, którą chcesz objąć.

Czym podejście Anthropic różni się od OpenAI i Perplexity

Trzej dostawcy stosują ten sam schemat pod różnymi nazwami, dzięki czemu łatwo przemyśleć wspólny robots.txt. Główna różnica dotyczy tego, jak każdy z nich traktuje robots.txt przy pobraniach na żywo na prośbę użytkownika.

Jeśli piszesz jeden robots.txt dla wszystkich trzech, umieść tokeny wyszukiwania i pobrań na żądanie w jednej grupie, a tokeny treningowe w drugiej. Dzięki temu polityka pozostaje czytelna i widać, jaki wybór zrobiono dla każdego celu.

Czy blokować Anthropic według adresu IP

Anthropic odradza. Jej dokumentacja mówi, że blokowanie adresów IP może nie działać prawidłowo ani trwale nie gwarantuje rezygnacji, ponieważ uniemożliwia też crawlerowi przeczytanie Twojego robots.txt. Politykę określaj w robots.txt.

Anthropic publikuje adresy IP swoich crawlerów pod claude.com/crawling/bots.json. Z tej listy warto korzystać odwrotnie niż do blokowania: niech firewall weryfikuje, że żądanie podpisane jako Claude-SearchBot lub Claude-User naprawdę pochodzi od Anthropic, i je przepuszcza.

Dlaczego Claude mimo to może nie przeczytać mojej strony

Nawet przy przyzwalającym robots.txt firewall lub CDN może odpowiadać agentom Anthropic kodem 403 albo stroną weryfikacji. Anthropic podaje, że jej boty szanują technologie zapobiegające obchodzeniu zabezpieczeń i nie będą próbować omijać CAPTCHA, więc strona weryfikacji po prostu kończy wizytę. Strony, których tekst pojawia się dopiero po uruchomieniu JavaScript, mogą też dotrzeć niemal puste.

AISeeWhy pobiera Twoją stronę jako ClaudeBot, Claude-SearchBot i Claude-User obok przeglądarki i sprawdza Twoje reguły robots.txt dla każdego z nich, dzięki czemu widać, czy napisana przez Ciebie polityka jest tą, którą faktycznie egzekwuje serwer.

Najczęstsze pytania

Czy zablokowanie ClaudeBot usuwa moją witrynę z odpowiedzi Claude?

Samo w sobie nie. Indeksowanie na potrzeby wyszukiwania i pobrania na żądanie użytkownika korzystają z Claude-SearchBot i Claude-User, które mają własne tokeny robots.txt.

Czy Claude-User przestrzega robots.txt?

Anthropic podaje, że jej boty przestrzegają robots.txt, i opisuje tam zablokowanie Claude-User, w efekcie czego Claude nie może pobierać Twoich stron na potrzeby pytań użytkowników.

Czy crawlery Anthropic rozwiązują CAPTCHA?

Nie. Anthropic podaje, że jej boty szanują technologie zapobiegające obchodzeniu zabezpieczeń i nie będą próbować omijać CAPTCHA.

Czy mogę spowolnić ClaudeBot zamiast go blokować?

Tak. Anthropic obsługuje Crawl-delay jako niestandardowe rozszerzenie, na przykład Crawl-delay: 1 w grupie ClaudeBot Twojego robots.txt.

Jak sprawdzić, że żądanie naprawdę pochodzi od Anthropic?

Porównaj źródłowy adres IP z listą, którą Anthropic publikuje pod claude.com/crawling/bots.json. Sam user agent może skopiować każdy.

Źródła

Więcej artykułów