ClaudeBot
ClaudeBot to crawler Anthropic do treści internetowych, które mogą służyć do trenowania generatywnych modeli AI tej firmy. Zabronienie go w robots.txt sygnalizuje, że przyszłe treści Twojej strony powinny zostać wyłączone z trenowania. Samo zablokowanie go nie zatrzymuje Claude-SearchBot ani Claude-User, które obsługują wyszukiwanie i odpowiedzi na żywo.
Co robi
Anthropic podaje, że ClaudeBot zbiera treści internetowe, które mogą przyczynić się do trenowania jego modeli, aby zwiększyć ich użyteczność i bezpieczeństwo. Zabronienie ClaudeBota sygnalizuje, że przyszłe materiały Twojej strony powinny zostać wyłączone ze zbiorów treningowych.
Anthropic obsługuje też niestandardową dyrektywę Crawl-delay, więc możesz spowolnić ClaudeBota zamiast go blokować. Reguły wymieniające ClaudeBota w robots.txt mają pierwszeństwo przed ogólnym sygnałem Anthropic o braku trenowania AI. Reguły robots.txt obowiązują osobno dla każdego hosta, więc dodaj je w każdej subdomenie, którą chcesz objąć.
W naszym badaniu z 2026-11 zablokowało go 21.2% popularnych stron z plikiem robots.txt. →
Token robots.txt
ClaudeBot
Jak go dopuścić
User-agent: ClaudeBot
Allow: /Jak go zablokować
User-agent: ClaudeBot
Disallow: /Jak zweryfikować prawdziwe wizyty
Anthropic publikuje adresy IP swoich crawlerów pod adresem claude.com/crawling/bots.json i podaje, że crawler, którego IP znajduje się na tej liście, pochodzi od Anthropic. Porównaj źródłowy adres IP z listą, zamiast ufać user agentowi. Anthropic odradza blokowanie po IP w celu rezygnacji, ponieważ uniemożliwia to crawlerowi także odczytanie robots.txt.
Sprawdź, czy Twoja strona go wpuszcza →
Crawlery Anthropic: ClaudeBot, Claude-SearchBot i Claude-User →