Як читати звіт AI Crawl Control у Cloudflare і бачити, які AI-краулери проходять

Опубліковано

Коротка відповідь

Відкрийте AI Crawl Control у панелі Cloudflare: список краулерів показує кожен AI-краулер, якого Cloudflare бачив на вашому домені, його запити, порушення robots.txt і дію Allow чи Block. Щоб зберегти AI-пошук і відмовитися від навчання, дозвольте пошукові та агентські краулери, а навчальні заблокуйте або заборонте там же чи в політиках AI Crawler and Agent access. Потім перевірте ззовні через curl, бо інші функції Cloudflare можуть усе одно блокувати краулер, якого ви дозволили.

Тепер у Cloudflare є два місця, що вирішують, що отримують AI-краулери: AI Crawl Control — звіт і пульт для кожного краулера, який раніше називався AI Audit, — і політики AI Crawler and Agent access для всієї зони в налаштуваннях Security. Обидва доступні на тарифі Free, обидва змінилися протягом 2026 року, і жоден не розповідає про всі інші функції, які все одно можуть відповісти краулеру кодом 403. Цей посібник розбирає звіт стовпець за стовпцем, показує, де налаштувати дозвіл і блокування, і завершується тестом, який можна запустити зі свого комп’ютера.

На цій сторінці
  1. Де в Cloudflare звіт про AI-краулери?
  2. Що означає кожен стовпець і показник у звіті AI Crawl Control?
  3. Як у Cloudflare дозволити AI-пошукові краулери і заблокувати навчальні?
  4. Що змінилося в налаштуваннях Cloudflare за замовчуванням для AI-краулерів?
  5. Чому Cloudflare досі блокує AI-краулери, хоча я їх дозволив?
  6. Як перевірити ззовні, які AI-краулери пропускає Cloudflare?
  7. Як AISeeWhy перевіряє, що Cloudflare віддає AI-краулерам?

Де в Cloudflare звіт про AI-краулери?

У панелі виберіть акаунт і домен, потім відкрийте AI Crawl Control. Cloudflare повідомляє, що функція працює без налаштування і доступна на всіх тарифах, якщо трафік домену проксіюється через Cloudflare. У ній чотири розділи:

Читаючи числа, враховуйте два обмеження тарифів. На тарифі Free AI Crawl Control розпізнає краулери лише за рядком user agent, тож бачить тільки ті, що себе називають, а вкладка Metrics охоплює останні 24 години. Платні тарифи додають виявлення через detection ID у Bot Management, а Enterprise з Bot Management отримує налаштовувані проміжки часу.

Що означає кожен стовпець і показник у звіті AI Crawl Control?

Cloudflare документує поля так. Визначення важливі, бо кілька чисел рахують більше, ніж можна очікувати.

Читайте звіт, виходячи з вибраної дії. Краулер з Allow має показувати переважно дозволені запити й коди 2xx. Якщо в нього багато невдалих запитів, відкрийте розподіл кодів статусу з фільтром за цим краулером і перевірте Security Analytics, щоб знайти правило, яке відповіло.

Як у Cloudflare дозволити AI-пошукові краулери і заблокувати навчальні?

Це можна зробити для кожного краулера окремо або за поведінкою. Для окремого краулера відкрийте AI Crawl Control і задайте Action у кожному рядку. Cloudflare повідомляє, що блокування там створює або оновлює власне правило WAF (custom rule) у вашій зоні, яке можна розширити у WAF винятками для шляхів. На платних тарифах можна вибрати, чи отримують заблоковані краулери 403 або 402, і задати текст відповіді.

За поведінкою: перейдіть у Security, потім Settings, відфільтруйте за Bot traffic і відкрийте AI Crawler and Agent access policies. Cloudflare поділяє AI-трафік на три типи поведінки, і кожна політика застосовується до верифікованих ботів із цією поведінкою та до відповідних неверифікованих ботів:

Для кожної поведінки можна вибрати Block, Block on pages with ads або Allow (do not block). Для Training також є Disallow, що лише просить краулери через robots.txt. Якщо ввімкнено Bot Preference Sync, Cloudflare додає на початок вашого robots.txt керовані правила, які забороняють Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot і meta-externalagent, додає рядок Content Signals і також блокує навчальні AI-краулери на межі мережі, крім краулерів, що використовуються і для пошуку, і для навчання.

Для більшості сайтів, яким потрібні AI-цитування, безпечна комбінація — Search і Agent на Allow, Training на Disallow, а потім окремі дії Block в AI Crawl Control для суто навчальних краулерів, яких ви хочете зупиняти на межі мережі.

Що змінилося в налаштуваннях Cloudflare за замовчуванням для AI-краулерів?

1 липня 2025 року Cloudflare оголосив, що за замовчуванням блокуватиме AI-краулери, якщо вони не платять авторам. 1 липня 2026 року компанія замінила єдиний перемикач Block AI bots окремими політиками Search, Agent і Training, описаними вище, для всіх тарифів, зокрема Free. У тому самому оголошенні йшлося, що нові домени, підключені з 15 вересня 2026 року, матимуть Training і Agent заблокованими на сторінках із рекламою, а Search — дозволеним.

Поточна документація Cloudflare про політики, востаннє оновлена 2 листопада 2026 року, каже, що для нових доменів за замовчуванням для всіх трьох типів поведінки діє Allow (do not block). Оскільки власні сторінки Cloudflare в різний час описували різні налаштування за замовчуванням, не покладайтеся на жодну з них щодо своєї зони: відкрийте сторінку політик і подивіться, що встановлено.

Чому Cloudflare досі блокує AI-краулери, хоча я їх дозволив?

Дія Allow в AI Crawl Control лише не дає блокувати самому AI Crawl Control. Інші функції все одно обробляють запит. Типові причини:

Як перевірити ззовні, які AI-краулери пропускає Cloudflare?

Запросіть ту саму сторінку з user agent браузера і з user agent кожного краулера, потім порівняйте статус і розмір. Рядки OpenAI, Perplexity і Google нижче — ті, які публікують самі ці компанії.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Рядок краулера з 403, 429 чи 503 або з набагато меншим розміром, ніж у браузера, означає, що щось перед вашим сервером-джерелом відповіло інакше. На тарифі Free AI Crawl Control виявляє краулери за user agent, тож цей тест непогано перевіряє його блокування. Правила, що спираються на статус верифікованого бота чи оцінку бота, можуть обробити ваш запит інакше, ніж запит справжнього краулера, бо він іде з вашої IP-адреси, а не з опублікованих діапазонів оператора. Після тесту знайдіть свої запити в Security Analytics, щоб побачити, яке правило спрацювало.

Як AISeeWhy перевіряє, що Cloudflare віддає AI-краулерам?

Безкоштовна перевірка AISeeWhy запитує вашу сторінку як 16 AI- і пошукових краулерів поруч зі справжнім браузером, застосовує ваш robots.txt для кожного краулера і розпізнає сторінки-перевірки файрвола, тож ви бачите, чи збігається результат у панелі Cloudflare з тим, що краулери отримують насправді.

Виправлення для цієї проблеми

Безкоштовні інструменти

Що далі

Краулери в цій статті

Поширені запитання

Чи безкоштовний Cloudflare AI Crawl Control?

Так. Cloudflare вказує, що AI Crawl Control доступний на всіх тарифах. Тариф Free виявляє краулери лише за user agent і показує в Metrics останні 24 години; дані про реферали й власні відповіді на блокування потребують платного тарифу.

Що сталося з Cloudflare AI Audit?

Його перейменували. Документація Cloudflare описує AI Crawl Control як колишній AI Audit з тією самою метою: бачити, які AI-краулери заходять, і задавати дію для кожного.

Чи змінює блокування краулера в AI Crawl Control мій robots.txt?

Ні. Дія Block створює або оновлює власне правило WAF. robots.txt змінюється, лише якщо ви використовуєте варіант Disallow для Training разом із Bot Preference Sync, що додає керовані правила Cloudflare на початок вашого файлу.

Що вважається порушенням robots.txt у Cloudflare?

Запит AI-краулера до шляху, який забороняє ваш robots.txt. Cloudflare порівнює минулі запити з вашими поточними правилами, тож нове правило може позначити старіші запити, які на той момент були дозволені.

Що таке pay per crawl?

Дія Charge, яка просить AI-краулери платити за кожен запит, а інакше відповідає HTTP 402 із ціною. Cloudflare описує її як закриту бету, а блокування WAF чи Bot Management мають над нею пріоритет.

Джерела

Інші статті