Краулерите на Anthropic: ClaudeBot, Claude-SearchBot и Claude-User
Anthropic има три агенти: ClaudeBot собира содржина што може да се користи за обука на неговите модели, Claude-SearchBot обиколува за да ги подобри резултатите од пребарување на Claude, а Claude-User презема страници кога прашањето на корисник на Claude ги бара. Секој има своја ознака во robots.txt, а Anthropic наведува дека сите три го почитуваат robots.txt. Самото блокирање на ClaudeBot не ги запира пребарувањето ниту преземањата за корисниците.
Anthropic ги документира своите краулери на една страница за помош, а структурата е иста како кај другите AI производители: еден агент за обука, еден за пребарување и еден за преземања во живо во име на корисник. Ако сакате Claude да може да ги најде и цитира вашите страници, најважни се последните два.
На оваа страница
Што прави ClaudeBot?
ClaudeBot собира веб-содржина што може да придонесе за обуката на генеративните AI модели на Anthropic. Според Anthropic, неговата забрана сигнализира дека идната содржина на вашиот сајт треба да се исклучи од збирките податоци за обука.
Anthropic наведува и дека почитува машински читлив сигнал за забрана на AI обука заснован на нацрт на IETF, и дека правилата во robots.txt што го именуваат ClaudeBot имаат предност пред таа општа поставка. Како и кај другите краулери за обука, неговото блокирање е избор на политика.
Што прави Claude-SearchBot?
Claude-SearchBot го обиколува интернетот за да ги подобри релевантноста и точноста на резултатите од пребарување во Claude. Anthropic наведува дека неговото блокирање ја спречува вашата содржина да се индексира за пребарување, што може да ги намали вашата видливост и точност во резултатите од пребарувањата на корисниците.
Ова е агентот што треба да го дозволите ако сакате функциите за пребарување на Claude да знаат за вашите страници пред некој да праша за нив. Бидејќи е краулер за пребарување, нему му помагаат истите работи како на секој краулер за пребарување: sitemap наведен во robots.txt, чисти внатрешни врски и страници што ја враќаат својата содржина во првиот одговор.
Што прави Claude-User?
Claude-User пристапува до веб-сајт кога корисник на Claude поставува прашање што го бара тоа, на пример кога некој споделува URL или бара од Claude да провери нешто. Anthropic наведува дека неговото блокирање го спречува преземањето како одговор на барањата на корисниците, што може да ја намали вашата видливост во веб-пребарувањата што ги насочуваат корисниците.
Забележете разлика во однос на некои други производители. Anthropic наведува дека неговите ботови ги почитуваат директивите во robots.txt и го опишува блокирањето на Claude-User преку robots.txt. OpenAI и Perplexity, напротив, наведуваат дека нивните преземачи што ги бараат корисниците можеби не го почитуваат robots.txt.
Како да напишам правила во robots.txt за Claude?
Секој агент има своја ознака, а група што именува краулер ја заменува групата * за тој краулер според RFC 9309. Чест избор е да се дозволат пребарувањето и преземањата за корисниците, а да се откаже од обуката:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / Anthropic поддржува и Crawl-delay како нестандардно проширување, на пример Crawl-delay: 1 под User-agent: ClaudeBot, ако сакате да го забавите обиколувањето наместо да го блокирате. Правилата мора да бидат во robots.txt во највисокиот директориум на секој хост, па додајте ги на секој поддомен што сакате да го опфатите.
Како се споредува поставката на Anthropic со OpenAI и Perplexity?
Трите производители ја следат истата шема со различни имиња, па заеднички robots.txt лесно се разбира. Главната разлика е како секој постапува со robots.txt за преземањата во живо на барање на корисник.
- Краулер за пребарување:
Claude-SearchBotза Anthropic,OAI-SearchBotза OpenAI,PerplexityBotза Perplexity. - Краулер за обука:
ClaudeBotза Anthropic,GPTBotза OpenAI. Perplexity наведува декаPerplexityBotне се користи за обиколување содржина за AI основни модели. - Преземања за корисници:
Claude-User,ChatGPT-UserиPerplexity-User. Anthropic наведува дека неговите ботови го почитуваат robots.txt; OpenAI наведува дека robots.txt можеби не важи заChatGPT-User; Perplexity наведува декаPerplexity-Userгенерално го игнорира.
Ако пишувате еден robots.txt за сите три, ставете ги ознаките за пребарување и за корисници во една група, а ознаките за обука во друга. Така политиката останува читлива и е очигледно каков избор сте направиле за секоја намена.
Дали треба да го блокирам Anthropic по IP адреса?
Anthropic не го препорачува тоа. Неговата документација наведува дека блокирањето IP адреси можеби нема да функционира правилно ниту трајно да гарантира откажување, бидејќи го спречува краулерот и да го прочита вашиот robots.txt. Користете robots.txt за да ја наведете вашата политика.
Anthropic сепак ги објавува IP адресите на своите краулери на claude.com/crawling/bots.json. Корисниот начин да се користи таа листа е спротивен од блокирањето: нека вашиот заштитен ѕид потврди дека барањето што тврди дека е Claude-SearchBot или Claude-User навистина доаѓа од Anthropic и нека го пушти.
Зошто Claude сепак не би можел да ја прочита мојата страница?
Дури и со попустлив robots.txt, вашиот заштитен ѕид или CDN може да им одговори на агентите на Anthropic со 403 или страница со предизвик. Anthropic наведува дека неговите ботови ги почитуваат технологиите против заобиколување и нема да се обидат да ги заобиколат CAPTCHA, па страницата со предизвик едноставно ја завршува посетата. Страниците чиј текст се појавува дури откако ќе се изврши JavaScript исто така може да пристигнат речиси празни.
AISeeWhy ја презема вашата страница како ClaudeBot, Claude-SearchBot и Claude-User паралелно со прелистувач и ги проверува вашите правила во robots.txt за секој од нив, за да видите дали политиката што сте ја напишале е онаа што вашиот сервер ја спроведува.
Следни чекори
- Тестер и проверка на robots.txt за AI краулери
- IP проверка на AI краулери
- Погледнете пример за целосен извештај
- Следење на AI краулери
- Планови и цени
Краулери во оваа статија
Често поставувани прашања
Дали блокирањето на ClaudeBot го отстранува мојот сајт од одговорите на Claude?
Само по себе не. Индексирањето за пребарување и преземањата што ги бараат корисниците користат Claude-SearchBot и Claude-User, кои имаат свои ознаки во robots.txt.
Дали Claude-User го почитува robots.txt?
Anthropic наведува дека неговите ботови го почитуваат robots.txt и го опишува блокирањето на Claude-User таму, со ефект Claude да не може да ги преземе вашите страници за прашањата на корисниците.
Дали краулерите на Anthropic ќе решат CAPTCHA?
Не. Anthropic наведува дека неговите ботови ги почитуваат технологиите против заобиколување и нема да се обидат да ги заобиколат CAPTCHA.
Може ли да го забавам ClaudeBot наместо да го блокирам?
Да. Anthropic поддржува Crawl-delay како нестандардно проширување, на пример Crawl-delay: 1 во групата ClaudeBot во вашиот robots.txt.
Како да потврдам дека барањето навистина доаѓа од Anthropic?
Споредете ја изворната IP адреса со листата што Anthropic ја објавува на claude.com/crawling/bots.json. Самиот user agent секој може да го копира.
Извори
- Anthropic: Дали Anthropic обиколува податоци од интернетот и како сопствениците на сајтови можат да го блокираат краулерот?
- RFC 9309: Robots Exclusion Protocol