AISeeWhy
UK
Почати пробний період

Краулери Anthropic: ClaudeBot, Claude-SearchBot і Claude-User

Опубліковано

Коротка відповідь

В Anthropic три агенти: ClaudeBot збирає контент, який може використовуватися для навчання моделей, Claude-SearchBot обходить сайти, щоб покращити результати пошуку Claude, а Claude-User завантажує сторінки, коли вони потрібні для запитання користувача Claude. У кожного свій токен robots.txt, і Anthropic повідомляє, що всі три його дотримуються. Блокування самого ClaudeBot не зупиняє ні пошук, ні завантаження на запит користувача.

Anthropic описує свої краулери на одній сторінці довідки, і структура повторює підхід інших AI-вендорів: один агент для навчання, один для пошуку і один для живих завантажень на прохання користувача. Якщо ви хочете, щоб Claude міг знаходити й цитувати ваші сторінки, найважливіші останні два.

На цій сторінці
  1. Що робить ClaudeBot
  2. Що робить Claude-SearchBot
  3. Що робить Claude-User
  4. Як написати правила robots.txt для Claude
  5. Чим підхід Anthropic відрізняється від OpenAI та Perplexity
  6. Чи варто блокувати Anthropic за IP-адресою
  7. Чому Claude все одно може не прочитати сторінку

Що робить ClaudeBot

ClaudeBot збирає вебконтент, який може піти на навчання генеративних моделей Anthropic. За словами Anthropic, заборона для нього сигналізує, що майбутній контент вашого сайту слід виключити з навчальних наборів даних.

Anthropic також повідомляє, що дотримується машинозчитуваного сигналу заборони навчання AI, заснованого на чернетці IETF, і що правила з іменем ClaudeBot у robots.txt мають пріоритет над цим загальним налаштуванням. Як і для інших краулерів навчання, блокування — питання вашої політики.

Що робить Claude-SearchBot

Claude-SearchBot обходить веб, щоб підвищити релевантність і точність результатів пошуку в Claude. Anthropic повідомляє, що його блокування не дає індексувати ваш контент для пошуку, що може знизити вашу видимість і точність у результатах пошуку для користувачів.

Цього агента слід дозволити, якщо ви хочете, щоб пошукові функції Claude знали про ваші сторінки, перш ніж хтось про них запитає. Оскільки це пошуковий краулер, йому йде на користь те саме, що й будь-якому пошуковому краулеру: мапа сайту, указана в robots.txt, чисте внутрішнє перелінкування та сторінки, що віддають зміст уже в першій відповіді.

Що робить Claude-User

Claude-User заходить на сайт, коли запитання користувача Claude цього потребує, наприклад коли людина ділиться URL або просить Claude щось знайти. Anthropic повідомляє, що блокування не дає отримувати сторінки у відповідь на запити користувачів, що може знизити вашу видимість у пошуку по вебу, який спрямовує користувач.

Зауважте відмінність від деяких інших вендорів. Anthropic заявляє, що її боти дотримуються директив robots.txt, і описує блокування Claude-User через robots.txt. OpenAI та Perplexity, навпаки, повідомляють, що їхні завантажувачі на запит користувача можуть не дотримуватися robots.txt.

Як написати правила robots.txt для Claude

У кожного агента свій токен, а група, в якій названо краулера, замінює для нього групу * за RFC 9309. Поширений вибір — дозволити пошук і завантаження на запит користувача й відмовитися від навчання:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic також підтримує Crawl-delay як нестандартне розширення, наприклад Crawl-delay: 1 у групі User-agent: ClaudeBot, якщо ви хочете уповільнити обхід, а не блокувати його. Правила мають лежати в robots.txt у кореневому каталозі кожного хоста, тож додавайте їх на кожен піддомен, який хочете охопити.

Чим підхід Anthropic відрізняється від OpenAI та Perplexity

Усі три вендори дотримуються однієї схеми під різними назвами, тож спільний robots.txt для них легко продумати. Головна відмінність — як кожен ставиться до robots.txt під час живих завантажень на запит користувача.

Якщо ви пишете один robots.txt для всіх трьох, помістіть пошукові токени й токени завантаження на запит в одну групу, а токени навчання в іншу. Так політика лишається читабельною, і одразу видно, який вибір ви зробили для кожної мети.

Чи варто блокувати Anthropic за IP-адресою

Anthropic не радить. У її документації сказано, що блокування IP-адрес може працювати некоректно й не гарантувати відмову надійно й надовго, адже краулер при цьому не може прочитати ваш robots.txt. Політику краще задавати через robots.txt.

IP-адреси своїх краулерів Anthropic публікує на claude.com/crawling/bots.json. Корисно використовувати цей список навпаки, не для блокування: нехай файрвол перевіряє, що запит від імені Claude-SearchBot або Claude-User справді надійшов від Anthropic, і пропускає його.

Чому Claude все одно може не прочитати сторінку

Навіть із дозвільним robots.txt файрвол чи CDN може відповідати агентам Anthropic кодом 403 або сторінкою-перевіркою. Anthropic заявляє, що її боти поважають технології захисту від обходу й не намагаються обходити CAPTCHA, тож сторінка-перевірка просто завершує візит. Сторінки, текст яких з’являється лише після виконання JavaScript, теж можуть надійти майже порожніми.

AISeeWhy запитує вашу сторінку як ClaudeBot, Claude-SearchBot і Claude-User поряд із браузером і перевіряє ваші правила robots.txt для кожного, тож видно, чи збігається написана вами політика з тією, яку насправді застосовує сервер.

Поширені запитання

Чи прибирає блокування ClaudeBot мій сайт із відповідей Claude?

Саме по собі ні. Пошукова індексація та завантаження на запит користувача йдуть через Claude-SearchBot і Claude-User, у яких свої токени robots.txt.

Чи дотримується Claude-User robots.txt?

Anthropic повідомляє, що її боти дотримуються robots.txt, і описує блокування Claude-User там само, внаслідок чого Claude не може отримувати ваші сторінки для запитань користувачів.

Чи розв’язують краулери Anthropic CAPTCHA?

Ні. Anthropic заявляє, що її боти поважають технології захисту від обходу й не намагаються обходити CAPTCHA.

Чи можна уповільнити ClaudeBot, а не блокувати?

Так. Anthropic підтримує Crawl-delay як нестандартне розширення, наприклад Crawl-delay: 1 у групі ClaudeBot вашого robots.txt.

Як перевірити, що запит справді надійшов від Anthropic?

Порівняйте вихідну IP-адресу зі списком, який Anthropic публікує на claude.com/crawling/bots.json. Сам лише user agent може скопіювати будь-хто.

Джерела

Інші статті