Как читать отчёт AI Crawl Control в Cloudflare и видеть, каких AI-краулеров пускают
Откройте AI Crawl Control в панели Cloudflare: в списке краулеров есть каждый AI-краулер, которого Cloudflare видел на вашем домене, число его запросов, нарушения robots.txt и действие Allow или Block. Чтобы сохранить AI-поиск и отказаться от обучения, разрешите поисковых краулеров и агентов, а краулеров для обучения заблокируйте или запретите там же или в политиках AI Crawler and Agent access. Затем проверьте снаружи через curl, потому что другие функции Cloudflare всё ещё могут блокировать разрешённого краулера.
Теперь в Cloudflare два места решают, что получают AI-краулеры: AI Crawl Control — отчёт и пульт по каждому краулеру, который раньше назывался AI Audit, — и политики AI Crawler and Agent access для всей зоны в настройках безопасности. Оба доступны на тарифе Free, оба изменились в 2026 году, и ни один не сообщает о прочих функциях, которые всё ещё могут ответить краулеру кодом 403. Это руководство проходит отчёт столбец за столбцом, показывает, где задать разрешение и блокировку, и заканчивается тестом, который можно запустить на своём компьютере.
На этой странице
- Где в Cloudflare отчёт об AI-краулерах?
- Что значит каждый столбец и показатель в отчёте AI Crawl Control?
- Как в Cloudflare разрешить краулеры AI-поиска и заблокировать краулеры для обучения?
- Что изменилось в настройках AI-краулеров по умолчанию в Cloudflare?
- Почему Cloudflare всё ещё блокирует AI-краулеров, хотя я их разрешил?
- Как снаружи проверить, каких AI-краулеров пропускает Cloudflare?
- Как AISeeWhy проверяет, что Cloudflare отдаёт AI-краулерам?
Где в Cloudflare отчёт об AI-краулерах?
В панели выберите аккаунт и домен, затем откройте AI Crawl Control. Cloudflare сообщает, что он работает без настройки и доступен на всех тарифах, если трафик домена проксируется через Cloudflare. В нём четыре раздела:
- Overview: сводка для руководства с общим числом запросов, изменением объёма, самым частым кодом статуса, самым популярным путём и самыми активными краулерами, а также сведения о том, включён ли управляемый robots.txt от Cloudflare, и краулеры, сгруппированные по операторам, например OpenAI, Microsoft, Google, ByteDance, Anthropic и Meta.
- Список краулеров: по строке на каждый AI-краулер со столбцом Action, где выбирается Allow или Block. В документации Cloudflare эта вкладка на одной странице называется Crawlers, а на другой Security, так что ищите таблицу со столбцом Action.
- Metrics: запросы во времени, распределение кодов статуса, формат контента, самые популярные пути и, на платных тарифах, переходы. Фильтры охватывают диапазон дат, краулера, оператора, имя хоста и путь, а данные можно выгрузить в CSV.
- Directives: состояние вашего файла robots.txt и список нарушений robots.txt.
При чтении цифр важны два ограничения тарифов. На тарифе Free AI Crawl Control распознаёт краулеров только по строке user agent, поэтому видит лишь тех, кто представляется, и больше никого, а вкладка Metrics охватывает последние 24 часа. Платные тарифы добавляют распознавание по идентификатору обнаружения Bot Management, а Enterprise с Bot Management получает настраиваемые периоды.
Что значит каждый столбец и показатель в отчёте AI Crawl Control?
Cloudflare описывает поля так. Определения важны, потому что некоторые цифры учитывают больше, чем можно ожидать.
- Crawler и Category: имя краулера, его оператор и категория, например AI crawler, AI assistant или archiver.
- Requests: разрешённые плюс неуспешные запросы, с графиком тренда. Неуспешные запросы могут быть вызваны любым правилом или ошибкой ответа, а не только блокировкой AI Crawl Control, поэтому большое число у разрешённого краулера указывает на другое правило или на ошибки вашего сервера.
- Allowed requests: запросы, получившие статус от 200 до 299. Объём переданных данных считается по байтам, которые Cloudflare отправил на разрешённые запросы.
- Robots.txt violations: сколько раз краулер запросил путь, запрещённый вашим robots.txt. Cloudflare сравнивает прошлые запросы с текущими правилами, так что правило, добавленное сегодня, может пометить запросы, которые на момент выполнения были разрешены.
- Action: Allow, Block или, для аккаунтов в бета-версии pay per crawl, Charge.
- Распределение кодов статуса: 2xx, 3xx, 4xx и 5xx. В группу 4xx входят 403 от блокировок и 402 от pay per crawl.
- Переходы и основные источники переходов, только на платных тарифах: визиты, пришедшие из AI-сервисов, например с chatgpt.com, и страницы, на которые они попали.
Читайте отчёт, исходя из выбранного действия. У краулера с Allow должны быть в основном разрешённые запросы и коды 2xx. Если неуспешных запросов много, откройте распределение кодов статуса с фильтром по этому краулеру и проверьте Security Analytics, чтобы найти правило, которое ответило.
Как в Cloudflare разрешить краулеры AI-поиска и заблокировать краулеры для обучения?
Это можно сделать по каждому краулеру или по поведению. По краулеру: откройте AI Crawl Control и задайте Action для каждой строки. Cloudflare сообщает, что блокировка там создаёт или обновляет пользовательское правило WAF в вашей зоне, которое можно дополнить в WAF исключениями для путей. На платных тарифах можно выбрать, получат заблокированные краулеры 403 или 402, и задать текст ответа.
По поведению: откройте Security, затем Settings, отфильтруйте по Bot traffic и откройте AI Crawler and Agent access policies. Cloudflare делит AI-трафик на три типа поведения, и каждая политика применяется к проверенным ботам с этим поведением и к подходящим непроверенным ботам:
- Search: сбор или индексация контента, чтобы позже отвечать на вопросы.
- Agent: действия в реальном времени от имени человека, например загрузки из чата и браузерные агенты.
- Training: сбор контента для обучения или дообучения моделей, включая краулеров, которые используются и для обучения, и для поиска.
Для каждого поведения можно выбрать Block, Block on pages with ads или Allow (do not block). У Training есть ещё Disallow, который лишь просит краулеров через robots.txt. При включённом Bot Preference Sync Cloudflare добавляет в начало вашего robots.txt управляемые правила, запрещающие Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot и meta-externalagent, добавляет строку Content Signals, а также блокирует краулеров для обучения AI на границе сети, кроме краулеров, которые используются и для поиска, и для обучения.
Для большинства сайтов, которым нужны цитирования в AI, безопасное сочетание такое: Search и Agent на Allow, Training на Disallow, а затем отдельные действия Block в AI Crawl Control для краулеров только для обучения, которых вы хотите остановить на границе сети.
Что изменилось в настройках AI-краулеров по умолчанию в Cloudflare?
1 июля 2025 года Cloudflare объявил, что меняет настройку по умолчанию на блокировку AI-краулеров, если они не платят авторам. 1 июля 2026 года он заменил единый переключатель Block AI bots отдельными политиками Search, Agent и Training, описанными выше, для всех тарифов, включая Free. В том же объявлении говорилось, что у новых доменов, подключаемых с 15 сентября 2026 года, Training и Agent будут заблокированы на страницах с рекламой, а Search разрешён.
Текущая документация Cloudflare по политикам, последний раз обновлённая 2 ноября 2026 года, говорит, что у новых доменов для всех трёх типов поведения по умолчанию стоит Allow (do not block). Поскольку собственные страницы Cloudflare в разное время описывали разные значения по умолчанию, не полагайтесь ни на одно из них для своей зоны: откройте страницу политик и посмотрите, что задано.
Почему Cloudflare всё ещё блокирует AI-краулеров, хотя я их разрешил?
Действие Allow в AI Crawl Control лишь не даёт блокировать самому AI Crawl Control. Другие функции всё равно обрабатывают запрос. Частые причины:
- Блокировка Training блокирует и поисковых краулеров, которые делают и то и другое. В документации Cloudflare сказано, что действия Training применяются к краулерам смешанного назначения, а в объявлении июля 2026 года Googlebot, Applebot и bingbot названы краулерами, которых клиенты, блокирующие Training, будут блокировать с 15 сентября 2026 года. Disallow — более узкий вариант, потому что его блокировка на границе сети пропускает краулеров смешанного назначения.
- Включён Bot Fight Mode. Cloudflare указывает, что обойти или пропустить Bot Fight Mode с помощью пользовательских правил WAF или Page Rules нельзя. Если он показывает краулеру проверку, отключите его или на тарифе, где он есть, используйте Super Bot Fight Mode, который поддерживает правила пропуска.
- Старое пользовательское правило WAF блокирует user agent, содержащие
bot, или правило ограничения частоты отвечает на всплески кодом 429. Они срабатывают независимо от Action в AI Crawl Control. - Правило блокировки отредактировали вручную. Если правило WAF, стоящее за AI Crawl Control, изменили на другой код ответа, панель больше не может применять ваш выбор.
- robots.txt по-прежнему запрещает краулера. Allow в Cloudflare не меняет ваш robots.txt, так что вежливый краулер всё равно не придёт. В нашем исследовании 1000 самых популярных доменов 98 из 155 сайтов, блокировавших в robots.txt краулер для обучения AI, блокировали и как минимум один поисковый или пользовательский AI-краулер.
Как снаружи проверить, каких AI-краулеров пропускает Cloudflare?
Запросите одну и ту же страницу с user agent браузера и с user agent каждого краулера, затем сравните статус и размер. Строки OpenAI, Perplexity и Google ниже — те, что публикуют сами эти компании.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Строка краулера с 403, 429 или 503 или с гораздо меньшим размером, чем у браузера, означает, что что-то перед вашим сервером ответило иначе. На тарифе Free AI Crawl Control распознаёт краулеров по user agent, так что этот тест неплохо проверяет его блокировки. Правила, основанные на статусе проверенного бота или на оценке бота, могут обработать ваш запрос иначе, чем настоящего краулера, потому что он приходит с вашего IP-адреса, а не из опубликованных диапазонов оператора. После теста найдите свои запросы в Security Analytics и посмотрите, какое правило сработало.
Как AISeeWhy проверяет, что Cloudflare отдаёт AI-краулерам?
Бесплатная проверка AISeeWhy запрашивает вашу страницу как 16 AI- и поисковых краулеров рядом с настоящим браузером, применяет ваш robots.txt для каждого краулера и распознаёт страницы-проверки файрвола, так что видно, совпадает ли картина в панели Cloudflare с тем, что краулеры получают на самом деле.
Исправления для этой проблемы
Что дальше
- Тестер и проверка robots.txt для AI-краулеров
- Проверка IP AI-краулеров
- Посмотреть пример полного отчёта
- Мониторинг AI-краулеров
- Тарифы и цены
Краулеры в этой статье
Частые вопросы
AI Crawl Control в Cloudflare бесплатный?
Да. Cloudflare указывает, что AI Crawl Control доступен на всех тарифах. На тарифе Free краулеры распознаются только по user agent, а в Metrics видны последние 24 часа; данные о переходах и собственные ответы при блокировке требуют платного тарифа.
Что случилось с Cloudflare AI Audit?
Его переименовали. В документации Cloudflare AI Crawl Control описан как бывший AI Audit с той же задачей: видеть, какие AI-краулеры заходят, и задавать действие для каждого.
Меняет ли блокировка краулера в AI Crawl Control мой robots.txt?
Нет. Действие Block создаёт или обновляет пользовательское правило WAF. robots.txt меняется, только если вы используете вариант Disallow для Training с Bot Preference Sync, который добавляет управляемые правила Cloudflare в начало вашего файла.
Что Cloudflare считает нарушением robots.txt?
Запрос AI-краулера к пути, который запрещает ваш robots.txt. Cloudflare сравнивает прошлые запросы с текущими правилами, так что новое правило может пометить старые запросы, которые тогда были разрешены.
Что такое pay per crawl?
Действие Charge, которое просит AI-краулеров платить за каждый запрос, а иначе отвечает HTTP 402 с ценой. Cloudflare описывает его как закрытую бету, а блокировки WAF или Bot Management имеют над ним приоритет.
Источники
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: отчёт о доступе AI-краулеров, 2026-11