Anthropic-ови краулери: ClaudeBot, Claude-SearchBot и Claude-User

Објављено

Кратак одговор

Anthropic покреће три агента: ClaudeBot прикупља садржај који се може користити за обуку његових модела, Claude-SearchBot обилази веб да би побољшао резултате претраге у Claude-у, а Claude-User преузима странице када су потребне за питање корисника Claude-а. Сваки има сопствени robots.txt токен, а Anthropic каже да сва три поштују robots.txt. Само блокирање ClaudeBot-а не зауставља претрагу ни преузимања на захтев корисника.

Anthropic документује своје краулере на једној страници помоћи, а структура личи на друге AI компаније: један агент за обуку, један за претрагу и један за преузимања уживо у име корисника. Ако желите да Claude може да пронађе и цитира ваше странице, најважнија су последња два.

На овој страници
  1. Шта ради ClaudeBot?
  2. Шта ради Claude-SearchBot?
  3. Шта ради Claude-User?
  4. Како да напишем robots.txt правила за Claude?
  5. Како се Anthropic-ово подешавање пореди са OpenAI-јем и Perplexity-јем?
  6. Да ли треба да блокирам Anthropic по IP адреси?
  7. Зашто Claude и даље можда не успева да прочита моју страницу?

Шта ради ClaudeBot?

ClaudeBot прикупља веб садржај који би могао да допринесе обуци Anthropic-ових модела генеративног AI-ја. Према Anthropic-у, његова забрана говори да будући садржај вашег сајта треба искључити из скупова података за обуку.

Anthropic такође каже да поштује машински читљив сигнал против AI обуке заснован на IETF нацрту и да правила која у robots.txt наводе ClaudeBot имају предност над тим општим подешавањем. Као и код других краулера за обуку, његово блокирање је избор политике.

Шта ради Claude-SearchBot?

Claude-SearchBot обилази веб да би побољшао релевантност и тачност резултата претраге у Claude-у. Anthropic каже да његово блокирање спречава индексирање вашег садржаја за претрагу, што може да смањи вашу видљивост и тачност у резултатима претраге за кориснике.

Ово је агент који треба дозволити ако желите да функције претраге у Claude-у знају за ваше странице пре него што ико пита о њима. Пошто је краулер за претрагу, користе му исте ствари као сваком краулеру за претрагу: мапа сајта наведена у robots.txt, уредни интерни линкови и странице које враћају свој садржај у првом одговору.

Шта ради Claude-User?

Claude-User приступа сајту када корисник Claude-а постави питање које то захтева, на пример када неко подели URL или затражи од Claude-а да нешто потражи. Anthropic каже да његово блокирање спречава преузимање као одговор на упите корисника, што може да смањи вашу видљивост у веб претрази коју покреће корисник.

Обратите пажњу на разлику у односу на неке друге компаније. Anthropic наводи да његови ботови поштују robots.txt директиве и описује блокирање Claude-User-а преко robots.txt. OpenAI и Perplexity, насупрот томе, кажу да њихови преузимачи на захтев корисника можда не поштују robots.txt.

Како да напишем robots.txt правила за Claude?

Сваки агент има сопствени токен, а група која наводи краулер за тај краулер замењује групу * према RFC 9309. Чест избор је да дозволите претрагу и преузимања на захтев корисника, а да се искључите из обуке:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic подржава и Crawl-delay као нестандардно проширење, на пример Crawl-delay: 1 испод User-agent: ClaudeBot, ако желите да успорите обилажење уместо да га блокирате. Правила морају да стоје у robots.txt у коренском директоријуму сваког хоста, па их додајте на сваки поддомен који желите да покријете.

Како се Anthropic-ово подешавање пореди са OpenAI-јем и Perplexity-јем?

Три компаније прате исти образац са различитим називима, па је о заједничком robots.txt лако размишљати. Главна разлика је у томе како свака третира robots.txt за преузимања уживо на захтев корисника.

Ако пишете један robots.txt за све три, ставите токене за претрагу и кориснике у једну групу, а токене за обуку у другу. Тако политика остаје читљива и јасно се види који сте избор направили за коју намену.

Да ли треба да блокирам Anthropic по IP адреси?

Anthropic то не препоручује. Његова документација каже да блокирање IP адреса можда неће радити исправно нити трајно гарантовати искључење, јер краулер тада не може ни да прочита ваш robots.txt. Своју политику изразите у robots.txt.

Anthropic објављује IP адресе својих краулера на claude.com/crawling/bots.json. Корисно је ту листу користити супротно од блокирања: нека ваш заштитни зид провери да ли захтев који тврди да је Claude-SearchBot или Claude-User заиста долази од Anthropic-а и нека га пропусти.

Зашто Claude и даље можда не успева да прочита моју страницу?

Чак и уз попустљив robots.txt, ваш заштитни зид или CDN могу Anthropic-овим агентима да одговоре са 403 или страницом са изазовом. Anthropic каже да његови ботови поштују технологије против заобилажења и да неће покушавати да заобиђу CAPTCHA, па страница са изазовом једноставно завршава посету. Странице чији се текст појављује тек када се покрене JavaScript такође могу да стигну скоро празне.

AISeeWhy тражи вашу страницу као ClaudeBot, Claude-SearchBot и Claude-User упоредо са прегледачем и проверава ваша robots.txt правила за сваки од њих, тако да видите да ли је политика коју сте написали она коју ваш сервер заиста спроводи.

Бесплатни алати

Следећи кораци

Краулери у овом чланку

Честа питања

Да ли блокирање ClaudeBot-а уклања мој сајт из одговора Claude-а?

Не само по себи. Индексирање за претрагу и преузимања на захтев корисника користе Claude-SearchBot и Claude-User, који имају сопствене robots.txt токене.

Да ли Claude-User поштује robots.txt?

Anthropic каже да његови ботови поштују robots.txt и описује блокирање Claude-User-а тамо, што има за последицу да Claude не може да преузме ваше странице за питања корисника.

Да ли ће Anthropic-ови краулери решити CAPTCHA?

Неће. Anthropic каже да његови ботови поштују технологије против заобилажења и да неће покушавати да заобиђу CAPTCHA.

Могу ли да успорим ClaudeBot уместо да га блокирам?

Можете. Anthropic подржава Crawl-delay као нестандардно проширење, на пример Crawl-delay: 1 у групи ClaudeBot у вашем robots.txt.

Како да проверим да захтев заиста долази од Anthropic-а?

Упоредите изворну IP адресу са листом коју Anthropic објављује на claude.com/crawling/bots.json. Сам user agent свако може да копира.

Извори

Још чланака