Як читати звіт AI Crawl Control у Cloudflare і бачити, які AI-краулери проходять
Відкрийте AI Crawl Control у панелі Cloudflare: список краулерів показує кожен AI-краулер, якого Cloudflare бачив на вашому домені, його запити, порушення robots.txt і дію Allow чи Block. Щоб зберегти AI-пошук і відмовитися від навчання, дозвольте пошукові та агентські краулери, а навчальні заблокуйте або заборонте там же чи в політиках AI Crawler and Agent access. Потім перевірте ззовні через curl, бо інші функції Cloudflare можуть усе одно блокувати краулер, якого ви дозволили.
Тепер у Cloudflare є два місця, що вирішують, що отримують AI-краулери: AI Crawl Control — звіт і пульт для кожного краулера, який раніше називався AI Audit, — і політики AI Crawler and Agent access для всієї зони в налаштуваннях Security. Обидва доступні на тарифі Free, обидва змінилися протягом 2026 року, і жоден не розповідає про всі інші функції, які все одно можуть відповісти краулеру кодом 403. Цей посібник розбирає звіт стовпець за стовпцем, показує, де налаштувати дозвіл і блокування, і завершується тестом, який можна запустити зі свого комп’ютера.
На цій сторінці
- Де в Cloudflare звіт про AI-краулери?
- Що означає кожен стовпець і показник у звіті AI Crawl Control?
- Як у Cloudflare дозволити AI-пошукові краулери і заблокувати навчальні?
- Що змінилося в налаштуваннях Cloudflare за замовчуванням для AI-краулерів?
- Чому Cloudflare досі блокує AI-краулери, хоча я їх дозволив?
- Як перевірити ззовні, які AI-краулери пропускає Cloudflare?
- Як AISeeWhy перевіряє, що Cloudflare віддає AI-краулерам?
Де в Cloudflare звіт про AI-краулери?
У панелі виберіть акаунт і домен, потім відкрийте AI Crawl Control. Cloudflare повідомляє, що функція працює без налаштування і доступна на всіх тарифах, якщо трафік домену проксіюється через Cloudflare. У ній чотири розділи:
- Overview: підсумок із загальною кількістю запитів, зміною обсягу, найчастішим кодом статусу, найпопулярнішим шляхом і краулерами з великим обсягом, а також чи ввімкнено керований robots.txt від Cloudflare, і краулери, згруповані за операторами, як-от OpenAI, Microsoft, Google, ByteDance, Anthropic і Meta.
- Список краулерів: по рядку на кожен AI-краулер зі стовпцем Action, де ви вибираєте Allow або Block. Документація Cloudflare на одній сторінці називає цю вкладку Crawlers, а на іншій Security, тож шукайте таблицю зі стовпцем Action.
- Metrics: запити в часі, розподіл кодів статусу, формат контенту, найпопулярніші шляхи і, на платних тарифах, реферали. Фільтри охоплюють діапазон дат, краулер, оператора, хост і шлях, а дані можна експортувати в CSV.
- Directives: стан вашого файлу robots.txt і список порушень robots.txt.
Читаючи числа, враховуйте два обмеження тарифів. На тарифі Free AI Crawl Control розпізнає краулери лише за рядком user agent, тож бачить тільки ті, що себе називають, а вкладка Metrics охоплює останні 24 години. Платні тарифи додають виявлення через detection ID у Bot Management, а Enterprise з Bot Management отримує налаштовувані проміжки часу.
Що означає кожен стовпець і показник у звіті AI Crawl Control?
Cloudflare документує поля так. Визначення важливі, бо кілька чисел рахують більше, ніж можна очікувати.
- Crawler і Category: назва краулера, його оператор і категорія, наприклад AI crawler, AI assistant чи archiver.
- Requests: дозволені плюс невдалі запити, з графіком тренду. Невдалі запити можуть бути від будь-якого правила чи помилки відповіді, а не лише від блокування в AI Crawl Control, тож велике число для дозволеного краулера вказує на інше правило або на помилки вашого сервера-джерела.
- Allowed requests: запити, що отримали статус від 200 до 299. Передачу даних рахують за байтами, які Cloudflare надіслав на дозволені запити.
- Robots.txt violations: скільки разів краулер запитував шлях, який забороняє ваш robots.txt. Cloudflare порівнює минулі запити з вашими поточними правилами, тож правило, додане сьогодні, може позначити запити, які були дозволені, коли їх робили.
- Action: Allow, Block або, для акаунтів у бета-версії pay per crawl, Charge.
- Status code distribution: 2xx, 3xx, 4xx і 5xx. Група 4xx включає 403 від блокувань і 402 від pay per crawl.
- Referrals і top referrers, лише на платних тарифах: візити з AI-сервісів, наприклад із chatgpt.com, і сторінки, на які вони потрапили.
Читайте звіт, виходячи з вибраної дії. Краулер з Allow має показувати переважно дозволені запити й коди 2xx. Якщо в нього багато невдалих запитів, відкрийте розподіл кодів статусу з фільтром за цим краулером і перевірте Security Analytics, щоб знайти правило, яке відповіло.
Як у Cloudflare дозволити AI-пошукові краулери і заблокувати навчальні?
Це можна зробити для кожного краулера окремо або за поведінкою. Для окремого краулера відкрийте AI Crawl Control і задайте Action у кожному рядку. Cloudflare повідомляє, що блокування там створює або оновлює власне правило WAF (custom rule) у вашій зоні, яке можна розширити у WAF винятками для шляхів. На платних тарифах можна вибрати, чи отримують заблоковані краулери 403 або 402, і задати текст відповіді.
За поведінкою: перейдіть у Security, потім Settings, відфільтруйте за Bot traffic і відкрийте AI Crawler and Agent access policies. Cloudflare поділяє AI-трафік на три типи поведінки, і кожна політика застосовується до верифікованих ботів із цією поведінкою та до відповідних неверифікованих ботів:
- Search: збирання або індексація контенту, щоб пізніше відповідати на запитання.
- Agent: дії в реальному часі від імені людини, як-от завантаження сторінок для чату й браузерні агенти.
- Training: збирання контенту для навчання чи донавчання моделей, зокрема краулери, що використовуються і для навчання, і для пошуку.
Для кожної поведінки можна вибрати Block, Block on pages with ads або Allow (do not block). Для Training також є Disallow, що лише просить краулери через robots.txt. Якщо ввімкнено Bot Preference Sync, Cloudflare додає на початок вашого robots.txt керовані правила, які забороняють Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot і meta-externalagent, додає рядок Content Signals і також блокує навчальні AI-краулери на межі мережі, крім краулерів, що використовуються і для пошуку, і для навчання.
Для більшості сайтів, яким потрібні AI-цитування, безпечна комбінація — Search і Agent на Allow, Training на Disallow, а потім окремі дії Block в AI Crawl Control для суто навчальних краулерів, яких ви хочете зупиняти на межі мережі.
Що змінилося в налаштуваннях Cloudflare за замовчуванням для AI-краулерів?
1 липня 2025 року Cloudflare оголосив, що за замовчуванням блокуватиме AI-краулери, якщо вони не платять авторам. 1 липня 2026 року компанія замінила єдиний перемикач Block AI bots окремими політиками Search, Agent і Training, описаними вище, для всіх тарифів, зокрема Free. У тому самому оголошенні йшлося, що нові домени, підключені з 15 вересня 2026 року, матимуть Training і Agent заблокованими на сторінках із рекламою, а Search — дозволеним.
Поточна документація Cloudflare про політики, востаннє оновлена 2 листопада 2026 року, каже, що для нових доменів за замовчуванням для всіх трьох типів поведінки діє Allow (do not block). Оскільки власні сторінки Cloudflare в різний час описували різні налаштування за замовчуванням, не покладайтеся на жодну з них щодо своєї зони: відкрийте сторінку політик і подивіться, що встановлено.
Чому Cloudflare досі блокує AI-краулери, хоча я їх дозволив?
Дія Allow в AI Crawl Control лише не дає блокувати самому AI Crawl Control. Інші функції все одно обробляють запит. Типові причини:
- Блокування Training блокує й пошукові краулери, які роблять і те, і те. Документація Cloudflare каже, що дії Training застосовуються до краулерів змішаного призначення, а оголошення липня 2026 року називає Googlebot, Applebot і bingbot краулерами, які клієнти, що блокують Training, блокуватимуть з 15 вересня 2026 року. Disallow — вужчий вибір, бо його блокування на межі мережі оминає краулери змішаного призначення.
- Увімкнено Bot Fight Mode. Cloudflare зазначає, що обійти чи пропустити Bot Fight Mode власними правилами WAF або Page Rules не можна. Якщо він показує краулеру перевірку, вимкніть його або, на тарифі, де це є, використовуйте Super Bot Fight Mode, який підтримує правила пропуску.
- Старіше власне правило WAF блокує user agent, що містять
bot, або правило обмеження частоти запитів відповідає на сплески кодом 429. Вони діють незалежно від Action в AI Crawl Control. - Правило блокування відредаговано вручну. Якщо правило WAF за AI Crawl Control змінили на інший код відповіді, панель більше не може застосувати ваш вибір.
- robots.txt досі забороняє краулер. Allow у Cloudflare не змінює ваш robots.txt, тож чемний краулер усе одно не заходить. У нашому дослідженні 1000 найпопулярніших доменів 98 із 155 сайтів, що блокували навчальний AI-краулер у robots.txt, також блокували щонайменше один AI-краулер пошуку чи користувача.
Як перевірити ззовні, які AI-краулери пропускає Cloudflare?
Запросіть ту саму сторінку з user agent браузера і з user agent кожного краулера, потім порівняйте статус і розмір. Рядки OpenAI, Perplexity і Google нижче — ті, які публікують самі ці компанії.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Рядок краулера з 403, 429 чи 503 або з набагато меншим розміром, ніж у браузера, означає, що щось перед вашим сервером-джерелом відповіло інакше. На тарифі Free AI Crawl Control виявляє краулери за user agent, тож цей тест непогано перевіряє його блокування. Правила, що спираються на статус верифікованого бота чи оцінку бота, можуть обробити ваш запит інакше, ніж запит справжнього краулера, бо він іде з вашої IP-адреси, а не з опублікованих діапазонів оператора. Після тесту знайдіть свої запити в Security Analytics, щоб побачити, яке правило спрацювало.
Як AISeeWhy перевіряє, що Cloudflare віддає AI-краулерам?
Безкоштовна перевірка AISeeWhy запитує вашу сторінку як 16 AI- і пошукових краулерів поруч зі справжнім браузером, застосовує ваш robots.txt для кожного краулера і розпізнає сторінки-перевірки файрвола, тож ви бачите, чи збігається результат у панелі Cloudflare з тим, що краулери отримують насправді.
Виправлення для цієї проблеми
Що далі
- Тестер і перевірка robots.txt для ШІ-краулерів
- Перевірка IP ШІ-краулерів
- Переглянути приклад повного звіту
- Моніторинг AI-краулерів
- Тарифи та ціни
Краулери в цій статті
Поширені запитання
Чи безкоштовний Cloudflare AI Crawl Control?
Так. Cloudflare вказує, що AI Crawl Control доступний на всіх тарифах. Тариф Free виявляє краулери лише за user agent і показує в Metrics останні 24 години; дані про реферали й власні відповіді на блокування потребують платного тарифу.
Що сталося з Cloudflare AI Audit?
Його перейменували. Документація Cloudflare описує AI Crawl Control як колишній AI Audit з тією самою метою: бачити, які AI-краулери заходять, і задавати дію для кожного.
Чи змінює блокування краулера в AI Crawl Control мій robots.txt?
Ні. Дія Block створює або оновлює власне правило WAF. robots.txt змінюється, лише якщо ви використовуєте варіант Disallow для Training разом із Bot Preference Sync, що додає керовані правила Cloudflare на початок вашого файлу.
Що вважається порушенням robots.txt у Cloudflare?
Запит AI-краулера до шляху, який забороняє ваш robots.txt. Cloudflare порівнює минулі запити з вашими поточними правилами, тож нове правило може позначити старіші запити, які на той момент були дозволені.
Що таке pay per crawl?
Дія Charge, яка просить AI-краулери платити за кожен запит, а інакше відповідає HTTP 402 із ціною. Cloudflare описує її як закриту бету, а блокування WAF чи Bot Management мають над нею пріоритет.
Джерела
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: звіт про доступ AI-краулерів, 2026-11