Как читать отчёт AI Crawl Control в Cloudflare и видеть, каких AI-краулеров пускают

Опубликовано

Короткий ответ

Откройте AI Crawl Control в панели Cloudflare: в списке краулеров есть каждый AI-краулер, которого Cloudflare видел на вашем домене, число его запросов, нарушения robots.txt и действие Allow или Block. Чтобы сохранить AI-поиск и отказаться от обучения, разрешите поисковых краулеров и агентов, а краулеров для обучения заблокируйте или запретите там же или в политиках AI Crawler and Agent access. Затем проверьте снаружи через curl, потому что другие функции Cloudflare всё ещё могут блокировать разрешённого краулера.

Теперь в Cloudflare два места решают, что получают AI-краулеры: AI Crawl Control — отчёт и пульт по каждому краулеру, который раньше назывался AI Audit, — и политики AI Crawler and Agent access для всей зоны в настройках безопасности. Оба доступны на тарифе Free, оба изменились в 2026 году, и ни один не сообщает о прочих функциях, которые всё ещё могут ответить краулеру кодом 403. Это руководство проходит отчёт столбец за столбцом, показывает, где задать разрешение и блокировку, и заканчивается тестом, который можно запустить на своём компьютере.

На этой странице
  1. Где в Cloudflare отчёт об AI-краулерах?
  2. Что значит каждый столбец и показатель в отчёте AI Crawl Control?
  3. Как в Cloudflare разрешить краулеры AI-поиска и заблокировать краулеры для обучения?
  4. Что изменилось в настройках AI-краулеров по умолчанию в Cloudflare?
  5. Почему Cloudflare всё ещё блокирует AI-краулеров, хотя я их разрешил?
  6. Как снаружи проверить, каких AI-краулеров пропускает Cloudflare?
  7. Как AISeeWhy проверяет, что Cloudflare отдаёт AI-краулерам?

Где в Cloudflare отчёт об AI-краулерах?

В панели выберите аккаунт и домен, затем откройте AI Crawl Control. Cloudflare сообщает, что он работает без настройки и доступен на всех тарифах, если трафик домена проксируется через Cloudflare. В нём четыре раздела:

При чтении цифр важны два ограничения тарифов. На тарифе Free AI Crawl Control распознаёт краулеров только по строке user agent, поэтому видит лишь тех, кто представляется, и больше никого, а вкладка Metrics охватывает последние 24 часа. Платные тарифы добавляют распознавание по идентификатору обнаружения Bot Management, а Enterprise с Bot Management получает настраиваемые периоды.

Что значит каждый столбец и показатель в отчёте AI Crawl Control?

Cloudflare описывает поля так. Определения важны, потому что некоторые цифры учитывают больше, чем можно ожидать.

Читайте отчёт, исходя из выбранного действия. У краулера с Allow должны быть в основном разрешённые запросы и коды 2xx. Если неуспешных запросов много, откройте распределение кодов статуса с фильтром по этому краулеру и проверьте Security Analytics, чтобы найти правило, которое ответило.

Как в Cloudflare разрешить краулеры AI-поиска и заблокировать краулеры для обучения?

Это можно сделать по каждому краулеру или по поведению. По краулеру: откройте AI Crawl Control и задайте Action для каждой строки. Cloudflare сообщает, что блокировка там создаёт или обновляет пользовательское правило WAF в вашей зоне, которое можно дополнить в WAF исключениями для путей. На платных тарифах можно выбрать, получат заблокированные краулеры 403 или 402, и задать текст ответа.

По поведению: откройте Security, затем Settings, отфильтруйте по Bot traffic и откройте AI Crawler and Agent access policies. Cloudflare делит AI-трафик на три типа поведения, и каждая политика применяется к проверенным ботам с этим поведением и к подходящим непроверенным ботам:

Для каждого поведения можно выбрать Block, Block on pages with ads или Allow (do not block). У Training есть ещё Disallow, который лишь просит краулеров через robots.txt. При включённом Bot Preference Sync Cloudflare добавляет в начало вашего robots.txt управляемые правила, запрещающие Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot и meta-externalagent, добавляет строку Content Signals, а также блокирует краулеров для обучения AI на границе сети, кроме краулеров, которые используются и для поиска, и для обучения.

Для большинства сайтов, которым нужны цитирования в AI, безопасное сочетание такое: Search и Agent на Allow, Training на Disallow, а затем отдельные действия Block в AI Crawl Control для краулеров только для обучения, которых вы хотите остановить на границе сети.

Что изменилось в настройках AI-краулеров по умолчанию в Cloudflare?

1 июля 2025 года Cloudflare объявил, что меняет настройку по умолчанию на блокировку AI-краулеров, если они не платят авторам. 1 июля 2026 года он заменил единый переключатель Block AI bots отдельными политиками Search, Agent и Training, описанными выше, для всех тарифов, включая Free. В том же объявлении говорилось, что у новых доменов, подключаемых с 15 сентября 2026 года, Training и Agent будут заблокированы на страницах с рекламой, а Search разрешён.

Текущая документация Cloudflare по политикам, последний раз обновлённая 2 ноября 2026 года, говорит, что у новых доменов для всех трёх типов поведения по умолчанию стоит Allow (do not block). Поскольку собственные страницы Cloudflare в разное время описывали разные значения по умолчанию, не полагайтесь ни на одно из них для своей зоны: откройте страницу политик и посмотрите, что задано.

Почему Cloudflare всё ещё блокирует AI-краулеров, хотя я их разрешил?

Действие Allow в AI Crawl Control лишь не даёт блокировать самому AI Crawl Control. Другие функции всё равно обрабатывают запрос. Частые причины:

Как снаружи проверить, каких AI-краулеров пропускает Cloudflare?

Запросите одну и ту же страницу с user agent браузера и с user agent каждого краулера, затем сравните статус и размер. Строки OpenAI, Perplexity и Google ниже — те, что публикуют сами эти компании.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Строка краулера с 403, 429 или 503 или с гораздо меньшим размером, чем у браузера, означает, что что-то перед вашим сервером ответило иначе. На тарифе Free AI Crawl Control распознаёт краулеров по user agent, так что этот тест неплохо проверяет его блокировки. Правила, основанные на статусе проверенного бота или на оценке бота, могут обработать ваш запрос иначе, чем настоящего краулера, потому что он приходит с вашего IP-адреса, а не из опубликованных диапазонов оператора. После теста найдите свои запросы в Security Analytics и посмотрите, какое правило сработало.

Как AISeeWhy проверяет, что Cloudflare отдаёт AI-краулерам?

Бесплатная проверка AISeeWhy запрашивает вашу страницу как 16 AI- и поисковых краулеров рядом с настоящим браузером, применяет ваш robots.txt для каждого краулера и распознаёт страницы-проверки файрвола, так что видно, совпадает ли картина в панели Cloudflare с тем, что краулеры получают на самом деле.

Исправления для этой проблемы

Бесплатные инструменты

Что дальше

Краулеры в этой статье

Частые вопросы

AI Crawl Control в Cloudflare бесплатный?

Да. Cloudflare указывает, что AI Crawl Control доступен на всех тарифах. На тарифе Free краулеры распознаются только по user agent, а в Metrics видны последние 24 часа; данные о переходах и собственные ответы при блокировке требуют платного тарифа.

Что случилось с Cloudflare AI Audit?

Его переименовали. В документации Cloudflare AI Crawl Control описан как бывший AI Audit с той же задачей: видеть, какие AI-краулеры заходят, и задавать действие для каждого.

Меняет ли блокировка краулера в AI Crawl Control мой robots.txt?

Нет. Действие Block создаёт или обновляет пользовательское правило WAF. robots.txt меняется, только если вы используете вариант Disallow для Training с Bot Preference Sync, который добавляет управляемые правила Cloudflare в начало вашего файла.

Что Cloudflare считает нарушением robots.txt?

Запрос AI-краулера к пути, который запрещает ваш robots.txt. Cloudflare сравнивает прошлые запросы с текущими правилами, так что новое правило может пометить старые запросы, которые тогда были разрешены.

Что такое pay per crawl?

Действие Charge, которое просит AI-краулеров платить за каждый запрос, а иначе отвечает HTTP 402 с ценой. Cloudflare описывает его как закрытую бету, а блокировки WAF или Bot Management имеют над ним приоритет.

Источники

Другие статьи