Как замедлить AI-краулеры, не блокируя их

Опубликовано

Короткий ответ

Ограничивайте частоту запросов вместо блокировки. Отвечайте на лишние запросы краулеров кодом 429 или 503 с заголовком Retry-After, дайте каждому краулеру свой лимит, не включайте /robots.txt ни в один лимит и отдавайте краулерам страницы из кэша. Crawl-delay в robots.txt помогает только там, где оператор это документирует: Anthropic и Bing — да, Google пишет, что не поддерживает его, а OpenAI и Perplexity о нём не упоминают. Не закрывайте поисковые AI-краулеры, иначе выпадете и из ответов, которые они питают.

Когда краулер присылает тысячи запросов в час, быстрое решение — Disallow: / или блокировка в файрволе. Для краулера обучения это бывает разумным выбором. Для OAI-SearchBot, Claude-SearchBot или PerplexityBot это убирает ваши страницы из тех AI-ответов, где вы хотите появляться. Чаще всего нагрузку можно снизить, не жертвуя этим, с помощью сигналов, которые краулеры уже понимают: кодов ответа, кэширования и, у некоторых операторов, Crawl-delay.

На этой странице
  1. Какой краулер на самом деле создаёт нагрузку?
  2. Работает ли Crawl-delay для AI-краулеров?
  3. Как ответы 429 и 503 замедляют краулеры?
  4. Как настроить ограничение частоты для AI-краулеров?
  5. Может ли кэширование снизить нагрузку от краулеров?
  6. Чего избегать, замедляя краулеры?
  7. Как проверить, что краулеры по-прежнему проходят?

Какой краулер на самом деле создаёт нагрузку?

Сначала посмотрите, потом меняйте. Посчитайте в логах доступа запросы по user agent и по часам и сверьте IP-адреса источников с диапазонами, которые публикует каждый поставщик; команды есть в нашем руководстве по проверке логов сервера на AI-краулеры. Часто обнаруживается одно из двух:

Также разделите краулеры по задачам. Краулеры обучения вроде GPTBot и ClaudeBot — не те, что делают вас цитируемыми в AI-поиске, поэтому, если проблема в одном из них, запретить его вполне разумно. Остальная часть руководства — о краулерах, которых вы хотите сохранить.

Работает ли Crawl-delay для AI-краулеров?

Crawl-delay не входит в RFC 9309, поэтому каждый оператор сам решает, читать ли его. Вот что говорит документация на ноябрь 2026 года:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Следите за логикой групп. Краулер, который находит группу со своим именем, полностью игнорирует группу User-agent: *, поэтому группа ClaudeBot, в которой есть только Crawl-delay, отменит все Disallow, заданные для остальных. Повторите их, как в примере. Bing описывает Crawl-delay как исключение, которое он читает из любой из групп, но для других краулеров на это рассчитывать не стоит.

Как ответы 429 и 503 замедляют краулеры?

При пиках нагрузки код ответа — тот сигнал, на соблюдение которого краулеры рассчитаны. 429 Too Many Requests, определённый в RFC 6585, означает, что клиент отправил слишком много запросов за определённое время, и может сопровождаться заголовком Retry-After, где сказано, сколько ждать. 503 Service Unavailable говорит, что сервер сейчас не справляется.

Google описывает это как способ быстро снизить частоту сканирования Googlebot: отвечать на часть запросов сканирования кодом 500, 503 или 429 вместо 200. По словам Google, это снижает частоту сканирования для всего хоста, а Retry-After может содержать число секунд или дату.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Делайте это недолго. Google не советует делать так дольше одного-двух дней, потому что URL, который возвращает эти коды несколько дней, может быть удалён из индекса. Для долговременного снижения Google предлагает специальный запрос через Search Console.

OpenAI, Anthropic и Perplexity не описывают, как их краулеры реагируют на 429, 503 или Retry-After. Эти коды — стандартный способ попросить меньше, но насколько быстро сбавляет темп каждый AI-краулер, узнать негде.

Как настроить ограничение частоты для AI-краулеров?

Дайте каждому краулеру свой лимит вместо одного на весь трафик и отвечайте на запросы сверх него кодом 429. В nginx это делает модуль limit_req. Запросы с пустым ключом не учитываются, поэтому map, который возвращает ключ только для user agent краулеров, не трогает посетителей-людей. Здесь каждый краулер получает 60 запросов в минуту с запасом (burst) 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Ключом здесь служит user agent, поэтому любой, кто скопирует имя краулера, будет делить его лимит. Для ограничения частоты это приемлемо. Для разрешающего правила сверяйте ещё и опубликованные поставщиком диапазоны IP.

В Cloudflare ту же задачу на edge решают правила rate limiting. На тарифе Free доступно одно правило со счётом по IP за 10 секунд, и в выражении правила можно использовать путь и поле Verified Bot. Счёт по IP грубоват для краулеров, которые распределяют запросы по многим адресам, а на старших тарифах вариантов подсчёта больше. Ответ по умолчанию — 429, можно задать другой код 4xx и своё тело ответа. AI Crawl Control для каждого краулера предлагает Allow, Block и, в закрытой бете, Charge, но настройки частоты в нём нет.

Что бы вы ни использовали, не включайте /robots.txt в лимит. По RFC 9309 ошибка сервера для robots.txt означает, что краулер должен считать запрещённым весь сайт, а Google исключает 429 из кодов 4xx, которые считает отсутствием файла.

Может ли кэширование снизить нагрузку от краулеров?

Часто сильнее, чем ограничение частоты. Краулеры в основном запрашивают публичные страницы, одинаковые для всех посетителей, поэтому отдача их из CDN или кэша страниц превращает дорогой рендеринг в дешёвые попадания в кэш. Проверьте, что кэш не хранит для user agent краулеров отдельный некэшируемый вариант.

Помогают и условные запросы. Google пишет, что его краулеры поддерживают HTTP-кэширование с ETag и If-None-Match, а также с Last-Modified и If-Modified-Since, и используют ETag, если есть оба. На страницах о краулерах OpenAI, Anthropic и Perplexity не сказано, отправляют ли их краулеры условные запросы, так что на эту экономию рассчитывайте только для Google.

Чего избегать, замедляя краулеры?

Как проверить, что краулеры по-прежнему проходят?

Ограничения частоты легко сделать слишком жёсткими. Бесплатная проверка AISeeWhy загружает страницу как 16 AI- и поисковых краулеров рядом с настоящим браузером, применяет ваш robots.txt для каждого краулера и распознаёт страницы-проверки файрвола, поэтому правило, которое отвечает краулерам иначе, чем браузерам, становится видно. Один запрос на краулер не сработает на разумный лимит, и в этом весь смысл: запускайте проверку после изменения правил, чтобы убедиться, что обычные запросы проходят. Бесплатная проверка IP AI-краулеров говорит, действительно ли IP из ваших логов принадлежит GPTBot или другому краулеру.

Бесплатные инструменты

Что дальше

Краулеры в этой статье

Частые вопросы

Поддерживает ли Google Crawl-delay?

Нет. В документации Google о robots.txt crawl-delay указан среди неподдерживаемых полей. Чтобы ненадолго замедлить Googlebot, отвечайте на часть запросов кодом 503, 500 или 429; для более долгого снижения Google предлагает специальный запрос через Search Console.

Соблюдает ли ClaudeBot Crawl-delay?

Anthropic пишет, что поддерживает нестандартное расширение Crawl-delay. Укажите его в группе ClaudeBot и повторите там все правила Disallow из группы User-agent: *.

Поддерживают ли GPTBot и PerplexityBot Crawl-delay?

На страницах о краулерах OpenAI и Perplexity Crawl-delay не упоминается, так что его влияние не задокументировано. Используйте ограничение на стороне сервера, которое отвечает на лишние запросы кодом 429.

Навредит ли ответ 429 позициям в поиске?

Если недолго — нет. Google описывает 429 и 503 как способ временно снизить сканирование, но предупреждает, что URL, которые возвращают их несколько дней, могут быть удалены из индекса.

Стоит ли заблокировать GPTBot, чтобы снизить нагрузку?

Можно. OpenAI пишет, что GPTBot собирает контент, который может использоваться для обучения, и что каждая настройка robots.txt действует независимо, так что его запрет не убирает вас из поиска ChatGPT, который использует OAI-SearchBot. Сначала проверьте по логам, что нагрузка идёт с адресов OpenAI.

Источники

Другие статьи