Как да четете отчета AI Crawl Control на Cloudflare и да видите кои AI ботове влизат

Публикувано

Кратък отговор

Отворете AI Crawl Control в таблото на Cloudflare: списъкът с ботове показва всеки AI бот, който Cloudflare е засякъл във вашия домейн, заявките му, нарушенията му на robots.txt и дали действието за него е Allow или Block. За да запазите AI търсенето и да откажете обучението, разрешете ботовете за търсене и агентите и блокирайте или забранете ботовете за обучение там или в политиките AI Crawler and Agent access. След това потвърдете отвън с curl, защото други функции на Cloudflare все още може да блокират бот, който сте разрешили.

Cloudflare вече има две места, които решават какво получават AI ботовете: AI Crawl Control, отчетът и таблото за управление по ботове, който по-рано се казваше AI Audit, и политиките AI Crawler and Agent access за цялата зона в настройките на Security. И двете са достъпни в плана Free, и двете се промениха през 2026 г. и нито едното не ви казва за всички други функции, които все още може да отговорят на бот с 403. Това ръководство разглежда отчета колона по колона, показва къде да зададете разрешаване и блокиране и завършва с тест, който можете да пуснете от собствения си компютър.

На тази страница
  1. Къде е отчетът за AI ботове в Cloudflare?
  2. Какво означава всяка колона и метрика в отчета AI Crawl Control?
  3. Как да разреша AI ботовете за търсене и да блокирам ботовете за обучение в Cloudflare?
  4. Какво се промени в настройките по подразбиране на Cloudflare за AI ботове?
  5. Защо Cloudflare продължава да блокира AI ботове, след като съм ги разрешил?
  6. Как да потвърдя отвън кои AI ботове пропуска Cloudflare?
  7. Как AISeeWhy проверява какво изпраща Cloudflare на AI ботовете?

Къде е отчетът за AI ботове в Cloudflare?

В таблото изберете профила и домейна си и отворете AI Crawl Control. Cloudflare казва, че работи без настройка и е достъпен във всички планове, стига трафикът на домейна ви да минава през проксито на Cloudflare. Има четири области:

Две ограничения на плановете са важни при четенето на числата. В плана Free AI Crawl Control разпознава ботовете само по низа user agent, така че вижда ботовете, които се представят, и нищо друго, а разделът Metrics обхваща последните 24 часа. Платените планове добавят разпознаване чрез detection ID на Bot Management, а Enterprise с Bot Management получава настройваеми периоди.

Какво означава всяка колона и метрика в отчета AI Crawl Control?

Cloudflare документира полетата по следния начин. Определенията са важни, защото няколко числа отчитат повече, отколкото може да очаквате.

Четете отчета спрямо действието, което сте избрали. Бот с Allow трябва да показва предимно разрешени заявки и кодове 2xx. Ако показва много неуспешни заявки, отворете разпределението на кодовете на състоянието, филтрирано за този бот, и проверете Security Analytics, за да намерите правилото, което е отговорило.

Как да разреша AI ботовете за търсене и да блокирам ботовете за обучение в Cloudflare?

Можете да го направите по бот или по поведение. По бот отворете AI Crawl Control и задайте действието на всеки ред. Cloudflare казва, че блокирането там създава или обновява персонализирано WAF правило в зоната ви, което можете да разширите в WAF с изключения по път. В платените планове можете да изберете дали блокираните ботове да получават 403 или 402 и да зададете тяло в обикновен текст.

По поведение отидете в Security, след това Settings, филтрирайте по Bot traffic и отворете AI Crawler and Agent access policies. Cloudflare разделя AI трафика на три вида поведение и всяка политика се прилага за проверените ботове с това поведение и за съответстващите непроверени ботове:

За всяко поведение може да се зададе Block, Block on pages with ads или Allow (do not block). Training има и Disallow, което само моли ботовете чрез robots.txt. С включен Bot Preference Sync Cloudflare добавя в началото на robots.txt управлявани правила, които забраняват Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot и meta-externalagent, добавя ред Content Signals и освен това блокира AI ботовете за обучение на ниво edge, с изключение на ботовете, използвани и за търсене, и за обучение.

За повечето сайтове, които искат да бъдат цитирани от AI, безопасната комбинация е Search и Agent на Allow и Training на Disallow, а след това отделни действия Block в AI Crawl Control за ботовете само за обучение, които искате да спрете на ниво edge.

Какво се промени в настройките по подразбиране на Cloudflare за AI ботове?

На 1 юли 2025 г. Cloudflare обяви, че променя настройката по подразбиране, така че да блокира AI ботовете, освен ако не плащат на създателите. На 1 юли 2026 г. замени единния превключвател Block AI bots с отделните политики Search, Agent и Training, описани по-горе, за всички планове, включително Free. Същото съобщение казваше, че новите домейни, добавени от 15 септември 2026 г., ще имат Training и Agent блокирани на страници с реклами, а Search – разрешено.

Текущата документация на Cloudflare за политиките, последно обновена на 2 ноември 2026 г., казва, че новите домейни по подразбиране имат Allow (do not block) и за трите вида поведение. Тъй като собствените страници на Cloudflare са описвали различни настройки по подразбиране в различни моменти, не разчитайте на никоя от тях за вашата зона: отворете страницата с политиките и вижте какво е зададено.

Защо Cloudflare продължава да блокира AI ботове, след като съм ги разрешил?

Действието Allow в AI Crawl Control само спира блокирането от AI Crawl Control. Други функции продължават да действат върху заявката. Чести причини:

Как да потвърдя отвън кои AI ботове пропуска Cloudflare?

Поискайте една и съща страница с user agent на браузър и с user agent на всеки бот, след това сравнете статуса и размера. Низовете на OpenAI, Perplexity и Google по-долу са тези, които публикуват самите компании.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Ред за бот с 403, 429 или 503 или с много по-малък размер от реда на браузъра означава, че нещо пред вашия сървър е отговорило различно. В плана Free AI Crawl Control разпознава ботовете по user agent, така че този тест е разумна проверка на неговите блокирания. Правилата, базирани на статус на проверен бот или на оценки за ботове, може да третират заявката ви различно от истинския бот, защото тя идва от вашия IP адрес, а не от публикуваните диапазони на оператора. След теста потърсете собствените си заявки в Security Analytics, за да видите кое правило е съвпаднало.

Как AISeeWhy проверява какво изпраща Cloudflare на AI ботовете?

Безплатната проверка на AISeeWhy изисква страницата ви като 16 AI бота и бота на търсачки успоредно с истински браузър, прилага robots.txt за всеки бот и разпознава страниците за проверка на защитните стени, така че да видите дали резултатът в таблото на Cloudflare съвпада с това, което ботовете реално получават.

Корекции за този проблем

Безплатни инструменти

Следващи стъпки

Ботове в тази статия

Често задавани въпроси

Безплатен ли е Cloudflare AI Crawl Control?

Да. Cloudflare посочва, че AI Crawl Control е достъпен във всички планове. Планът Free разпознава ботовете само по user agent и показва последните 24 часа в Metrics; данните за препращанията и персонализираните отговори при блокиране изискват платен план.

Какво стана с Cloudflare AI Audit?

Беше преименуван. Документацията на Cloudflare описва AI Crawl Control като бившия AI Audit, със същото предназначение: да виждате кои AI ботове посещават сайта и да задавате действие за всеки от тях.

Променя ли блокирането на бот в AI Crawl Control моя robots.txt?

Не. Действието Block създава или обновява персонализирано WAF правило. robots.txt се променя само ако използвате опцията Disallow за Training с Bot Preference Sync, която добавя управляваните правила на Cloudflare в началото на файла ви.

Какво се смята за нарушение на robots.txt в Cloudflare?

Заявка от AI бот към път, който robots.txt ви забранява. Cloudflare сравнява минали заявки с текущите ви правила, така че ново правило може да отбележи по-стари заявки, които по онова време са били разрешени.

Какво е pay per crawl?

Действие Charge, което изисква от AI ботовете да плащат за всяка заявка, а в противен случай отговаря с HTTP 402 и цена. Cloudflare го описва като затворена бета версия, а блокиранията от WAF или Bot Management имат предимство пред него.

Източници

Още статии