Ботовете на Anthropic: ClaudeBot, Claude-SearchBot и Claude-User
Anthropic използва три агента: ClaudeBot събира съдържание, което може да се използва за обучение на моделите ѝ, Claude-SearchBot обхожда, за да подобри резултатите от търсенето на Claude, а Claude-User изтегля страници, когато въпросът на потребител на Claude ги изисква. Всеки има собствен токен в robots.txt и Anthropic казва, че и трите спазват robots.txt. Блокирането само на ClaudeBot не спира търсенето или изтеглянията по заявка на потребители.
Anthropic документира ботовете си на една помощна страница, а структурата повтаря тази на другите AI компании: един агент за обучение, един за търсене и един за изтегляния на живо от името на потребител. Ако искате Claude да може да намира и цитира страниците ви, последните два са най-важни.
На тази страница
Какво прави ClaudeBot?
ClaudeBot събира уеб съдържание, което може да допринесе за обучението на генеративните AI модели на Anthropic. Според Anthropic забраната му сигнализира, че бъдещото съдържание на сайта ви трябва да бъде изключено от наборите от данни за обучение.
Anthropic казва също, че спазва машинночетим сигнал за забрана на обучението на AI, основан на проект на IETF, и че правилата в robots.txt, които назовават ClaudeBot, имат предимство пред тази обща настройка. Както при другите ботове за обучение, блокирането му е избор на политика.
Какво прави Claude-SearchBot?
Claude-SearchBot обхожда уеб, за да подобри релевантността и точността на резултатите от търсенето в Claude. Anthropic казва, че блокирането му не позволява съдържанието ви да бъде индексирано за търсене, което може да намали видимостта и точността ви в резултатите от търсенето на потребителите.
Това е агентът, който трябва да разрешите, ако искате функциите за търсене на Claude да знаят за страниците ви, преди някой да попита за тях. Тъй като е бот за търсене, за него е полезно същото като за всеки бот за търсене: карта на сайта, посочена в robots.txt, чисти вътрешни връзки и страници, които връщат съдържанието си още в първия отговор.
Какво прави Claude-User?
Claude-User посещава уебсайт, когато потребител на Claude зададе въпрос, който го изисква, например когато някой сподели URL или помоли Claude да потърси нещо. Anthropic казва, че блокирането му не позволява извличане в отговор на заявки на потребители, което може да намали видимостта ви в уеб търсенето, насочвано от потребители.
Обърнете внимание на една разлика от някои други компании. Anthropic заявява, че ботовете ѝ спазват директивите в robots.txt, и описва блокирането на Claude-User чрез robots.txt. OpenAI и Perplexity, напротив, казват, че ботовете им за изтегляне по заявка на потребители може да не спазват robots.txt.
Как да напиша правила в robots.txt за Claude?
Всеки агент има собствен токен, а група, която назовава бот, заменя групата * за този бот според RFC 9309. Чест избор е да разрешите търсенето и изтеглянията по заявка на потребители и да откажете обучението:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / Anthropic поддържа и Crawl-delay като нестандартно разширение, например Crawl-delay: 1 под User-agent: ClaudeBot, ако искате да забавите обхождането, вместо да го блокирате. Правилата трябва да са в robots.txt в най-горната директория на всеки хост, затова ги добавете във всеки поддомейн, който искате да обхванете.
Как се сравнява подходът на Anthropic с OpenAI и Perplexity?
Трите компании следват един и същ модел с различни имена, което прави общия robots.txt лесен за разбиране. Основната разлика е как всяка третира robots.txt при изтеглянията на живо по заявка на потребител.
- Бот за търсене:
Claude-SearchBotпри Anthropic,OAI-SearchBotпри OpenAI,PerplexityBotпри Perplexity. - Бот за обучение:
ClaudeBotпри Anthropic,GPTBotпри OpenAI. Perplexity казва, чеPerplexityBotне се използва за събиране на съдържание за базови AI модели. - Изтегляния по заявка на потребители:
Claude-User,ChatGPT-UserиPerplexity-User. Anthropic казва, че ботовете ѝ спазват robots.txt; OpenAI казва, че robots.txt може да не се прилага заChatGPT-User; Perplexity казва, чеPerplexity-Userпо правило го пренебрегва.
Ако пишете един robots.txt за трите, поставете токените за търсене и за потребители в една група, а токените за обучение – в друга. Така политиката остава четима и е ясно какъв избор сте направили за всяка цел.
Трябва ли да блокирам Anthropic по IP адрес?
Anthropic не го препоръчва. Документацията ѝ казва, че блокирането на IP адреси може да не работи правилно или да не гарантира трайно отказа, защото пречи на бота да прочете и robots.txt ви. Използвайте robots.txt, за да заявите политиката си.
Anthropic все пак публикува IP адресите на ботовете си на claude.com/crawling/bots.json. Полезният начин да използвате този списък е обратното на блокирането: позволете на защитната стена да провери, че заявка, която се представя като Claude-SearchBot или Claude-User, наистина идва от Anthropic, и я пропуснете.
Защо Claude пак може да не успее да прочете страницата ми?
Дори при разрешаващ robots.txt защитната стена или CDN могат да отговорят на агентите на Anthropic с 403 или страница за проверка. Anthropic казва, че ботовете ѝ уважават технологиите срещу заобикаляне и няма да се опитват да преминат CAPTCHA, така че страницата за проверка просто прекратява посещението. Страниците, чийто текст се появява едва след изпълнение на JavaScript, също може да пристигнат почти празни.
AISeeWhy заявява страницата ви като ClaudeBot, Claude-SearchBot и Claude-User наред с браузър и проверява правилата в robots.txt за всеки от тях, така че да видите дали политиката, която сте написали, е тази, която сървърът ви прилага.
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Проверка на IP на AI ботове
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Изважда ли блокирането на ClaudeBot сайта ми от отговорите на Claude?
Не само по себе си. Индексирането за търсене и изтеглянията по заявка на потребители използват Claude-SearchBot и Claude-User, които имат собствени токени в robots.txt.
Спазва ли Claude-User robots.txt?
Anthropic казва, че ботовете ѝ спазват robots.txt, и описва блокирането на Claude-User там, като резултатът е, че Claude не може да извлича страниците ви за въпроси на потребители.
Ще решават ли ботовете на Anthropic CAPTCHA?
Не. Anthropic казва, че ботовете ѝ уважават технологиите срещу заобикаляне и няма да се опитват да преминат CAPTCHA.
Мога ли да забавя ClaudeBot, вместо да го блокирам?
Да. Anthropic поддържа Crawl-delay като нестандартно разширение, например Crawl-delay: 1 в групата за ClaudeBot в robots.txt.
Как да проверя дали заявката наистина идва от Anthropic?
Сравнете IP адреса на източника със списъка, който Anthropic публикува на claude.com/crawling/bots.json. User agent сам по себе си може да бъде копиран от всеки.
Източници
- Anthropic: Обхожда ли Anthropic данни от уеб и как собствениците на сайтове могат да блокират бота?
- RFC 9309: Robots Exclusion Protocol