Как да четете отчета AI Crawl Control на Cloudflare и да видите кои AI ботове влизат
Отворете AI Crawl Control в таблото на Cloudflare: списъкът с ботове показва всеки AI бот, който Cloudflare е засякъл във вашия домейн, заявките му, нарушенията му на robots.txt и дали действието за него е Allow или Block. За да запазите AI търсенето и да откажете обучението, разрешете ботовете за търсене и агентите и блокирайте или забранете ботовете за обучение там или в политиките AI Crawler and Agent access. След това потвърдете отвън с curl, защото други функции на Cloudflare все още може да блокират бот, който сте разрешили.
Cloudflare вече има две места, които решават какво получават AI ботовете: AI Crawl Control, отчетът и таблото за управление по ботове, който по-рано се казваше AI Audit, и политиките AI Crawler and Agent access за цялата зона в настройките на Security. И двете са достъпни в плана Free, и двете се промениха през 2026 г. и нито едното не ви казва за всички други функции, които все още може да отговорят на бот с 403. Това ръководство разглежда отчета колона по колона, показва къде да зададете разрешаване и блокиране и завършва с тест, който можете да пуснете от собствения си компютър.
На тази страница
- Къде е отчетът за AI ботове в Cloudflare?
- Какво означава всяка колона и метрика в отчета AI Crawl Control?
- Как да разреша AI ботовете за търсене и да блокирам ботовете за обучение в Cloudflare?
- Какво се промени в настройките по подразбиране на Cloudflare за AI ботове?
- Защо Cloudflare продължава да блокира AI ботове, след като съм ги разрешил?
- Как да потвърдя отвън кои AI ботове пропуска Cloudflare?
- Как AISeeWhy проверява какво изпраща Cloudflare на AI ботовете?
Къде е отчетът за AI ботове в Cloudflare?
В таблото изберете профила и домейна си и отворете AI Crawl Control. Cloudflare казва, че работи без настройка и е достъпен във всички планове, стига трафикът на домейна ви да минава през проксито на Cloudflare. Има четири области:
- Overview: обобщение с общия брой заявки, промяната в обема, най-честия код на състоянието, най-посещавания път и ботовете с най-голям обем, както и дали управляваният robots.txt на Cloudflare е включен, и ботовете, групирани по оператор, например OpenAI, Microsoft, Google, ByteDance, Anthropic и Meta.
- Списъкът с ботове: по един ред за всеки AI бот, с колона Action, в която избирате Allow или Block. Документацията на Cloudflare нарича този раздел Crawlers на една страница и Security на друга, затова търсете таблицата с колоната Action.
- Metrics: заявки във времето, разпределение на кодовете на състоянието, формат на съдържанието, най-посещавани пътища и, в платените планове, препращания. Филтрите обхващат период, бот, оператор, име на хост и път, а данните могат да се експортират в CSV.
- Directives: състоянието на файла robots.txt и списъкът с нарушения на robots.txt.
Две ограничения на плановете са важни при четенето на числата. В плана Free AI Crawl Control разпознава ботовете само по низа user agent, така че вижда ботовете, които се представят, и нищо друго, а разделът Metrics обхваща последните 24 часа. Платените планове добавят разпознаване чрез detection ID на Bot Management, а Enterprise с Bot Management получава настройваеми периоди.
Какво означава всяка колона и метрика в отчета AI Crawl Control?
Cloudflare документира полетата по следния начин. Определенията са важни, защото няколко числа отчитат повече, отколкото може да очаквате.
- Crawler и Category: името на бота, операторът му и категорията му, например AI crawler, AI assistant или archiver.
- Requests: разрешените плюс неуспешните заявки, с графика на тенденцията. Неуспешните заявки може да идват от всяко правило или грешка в отговора, не само от блокиране в AI Crawl Control, така че голямо число при бот, който сте разрешили, сочи към друго правило или към грешки на вашия сървър.
- Allowed requests: заявки, получили статус между 200 и 299. Прехвърлените данни се измерват по байтовете, които Cloudflare е изпратил за разрешените заявки.
- Robots.txt violations: колко пъти ботът е поискал път, който robots.txt ви забранява. Cloudflare сравнява минали заявки с текущите ви правила, така че правило, добавено днес, може да отбележи заявки, които са били разрешени, когато са направени.
- Action: Allow, Block или, за профилите в бета версията на pay per crawl, Charge.
- Разпределение на кодовете на състоянието: 2xx, 3xx, 4xx и 5xx. Групата 4xx включва 403 от блокирания и 402 от pay per crawl.
- Referrals и основни препращащи сайтове, само в платените планове: посещения, дошли от AI услуги, например от chatgpt.com, и страниците, на които са попаднали.
Четете отчета спрямо действието, което сте избрали. Бот с Allow трябва да показва предимно разрешени заявки и кодове 2xx. Ако показва много неуспешни заявки, отворете разпределението на кодовете на състоянието, филтрирано за този бот, и проверете Security Analytics, за да намерите правилото, което е отговорило.
Как да разреша AI ботовете за търсене и да блокирам ботовете за обучение в Cloudflare?
Можете да го направите по бот или по поведение. По бот отворете AI Crawl Control и задайте действието на всеки ред. Cloudflare казва, че блокирането там създава или обновява персонализирано WAF правило в зоната ви, което можете да разширите в WAF с изключения по път. В платените планове можете да изберете дали блокираните ботове да получават 403 или 402 и да зададете тяло в обикновен текст.
По поведение отидете в Security, след това Settings, филтрирайте по Bot traffic и отворете AI Crawler and Agent access policies. Cloudflare разделя AI трафика на три вида поведение и всяка политика се прилага за проверените ботове с това поведение и за съответстващите непроверени ботове:
- Search: събиране или индексиране на съдържание, за да може по-късно да се отговаря на въпроси.
- Agent: действие в реално време от името на човек, например заявки от чат и браузърни агенти.
- Training: събиране на съдържание за обучение или донастройка на модели, включително ботове, използвани и за обучение, и за търсене.
За всяко поведение може да се зададе Block, Block on pages with ads или Allow (do not block). Training има и Disallow, което само моли ботовете чрез robots.txt. С включен Bot Preference Sync Cloudflare добавя в началото на robots.txt управлявани правила, които забраняват Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot и meta-externalagent, добавя ред Content Signals и освен това блокира AI ботовете за обучение на ниво edge, с изключение на ботовете, използвани и за търсене, и за обучение.
За повечето сайтове, които искат да бъдат цитирани от AI, безопасната комбинация е Search и Agent на Allow и Training на Disallow, а след това отделни действия Block в AI Crawl Control за ботовете само за обучение, които искате да спрете на ниво edge.
Какво се промени в настройките по подразбиране на Cloudflare за AI ботове?
На 1 юли 2025 г. Cloudflare обяви, че променя настройката по подразбиране, така че да блокира AI ботовете, освен ако не плащат на създателите. На 1 юли 2026 г. замени единния превключвател Block AI bots с отделните политики Search, Agent и Training, описани по-горе, за всички планове, включително Free. Същото съобщение казваше, че новите домейни, добавени от 15 септември 2026 г., ще имат Training и Agent блокирани на страници с реклами, а Search – разрешено.
Текущата документация на Cloudflare за политиките, последно обновена на 2 ноември 2026 г., казва, че новите домейни по подразбиране имат Allow (do not block) и за трите вида поведение. Тъй като собствените страници на Cloudflare са описвали различни настройки по подразбиране в различни моменти, не разчитайте на никоя от тях за вашата зона: отворете страницата с политиките и вижте какво е зададено.
Защо Cloudflare продължава да блокира AI ботове, след като съм ги разрешил?
Действието Allow в AI Crawl Control само спира блокирането от AI Crawl Control. Други функции продължават да действат върху заявката. Чести причини:
- Блокирането на Training блокира и ботовете за търсене, които правят и двете неща. Документацията на Cloudflare казва, че действията за Training се прилагат за ботове със смесено предназначение, а съобщението от юли 2026 г. посочва Googlebot, Applebot и bingbot като ботове, които клиентите, блокиращи Training, ще блокират от 15 септември 2026 г. Disallow е по-тесният избор, защото неговото блокиране на ниво edge пропуска ботовете със смесено предназначение.
- Включен е Bot Fight Mode. Cloudflare посочва, че Bot Fight Mode не може да се заобиколи или пропусне чрез персонализирани WAF правила или Page Rules. Ако той подлага бот на проверка, изключете го или, в план, който го има, използвайте Super Bot Fight Mode, който поддържа правила за пропускане.
- По-старо персонализирано WAF правило блокира user agent низове, съдържащи
bot, или правило за ограничаване на честотата отговаря на пиковете с 429. Те се изпълняват независимо от действието в AI Crawl Control. - Правилото за блокиране е редактирано ръчно. Ако WAF правилото зад AI Crawl Control е променено към друг код на отговора, таблото вече не може да прилага избора ви.
- robots.txt все още забранява бота. Allow в Cloudflare не променя robots.txt, така че коректният бот така или иначе стои настрана. В нашето проучване на 1000-те най-популярни домейна 98 от 155-те сайта, които блокираха AI бот за обучение в robots.txt, блокираха и поне един AI бот за търсене или потребителски AI бот.
Как да потвърдя отвън кои AI ботове пропуска Cloudflare?
Поискайте една и съща страница с user agent на браузър и с user agent на всеки бот, след това сравнете статуса и размера. Низовете на OpenAI, Perplexity и Google по-долу са тези, които публикуват самите компании.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Ред за бот с 403, 429 или 503 или с много по-малък размер от реда на браузъра означава, че нещо пред вашия сървър е отговорило различно. В плана Free AI Crawl Control разпознава ботовете по user agent, така че този тест е разумна проверка на неговите блокирания. Правилата, базирани на статус на проверен бот или на оценки за ботове, може да третират заявката ви различно от истинския бот, защото тя идва от вашия IP адрес, а не от публикуваните диапазони на оператора. След теста потърсете собствените си заявки в Security Analytics, за да видите кое правило е съвпаднало.
Как AISeeWhy проверява какво изпраща Cloudflare на AI ботовете?
Безплатната проверка на AISeeWhy изисква страницата ви като 16 AI бота и бота на търсачки успоредно с истински браузър, прилага robots.txt за всеки бот и разпознава страниците за проверка на защитните стени, така че да видите дали резултатът в таблото на Cloudflare съвпада с това, което ботовете реално получават.
Корекции за този проблем
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Проверка на IP на AI ботове
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Безплатен ли е Cloudflare AI Crawl Control?
Да. Cloudflare посочва, че AI Crawl Control е достъпен във всички планове. Планът Free разпознава ботовете само по user agent и показва последните 24 часа в Metrics; данните за препращанията и персонализираните отговори при блокиране изискват платен план.
Какво стана с Cloudflare AI Audit?
Беше преименуван. Документацията на Cloudflare описва AI Crawl Control като бившия AI Audit, със същото предназначение: да виждате кои AI ботове посещават сайта и да задавате действие за всеки от тях.
Променя ли блокирането на бот в AI Crawl Control моя robots.txt?
Не. Действието Block създава или обновява персонализирано WAF правило. robots.txt се променя само ако използвате опцията Disallow за Training с Bot Preference Sync, която добавя управляваните правила на Cloudflare в началото на файла ви.
Какво се смята за нарушение на robots.txt в Cloudflare?
Заявка от AI бот към път, който robots.txt ви забранява. Cloudflare сравнява минали заявки с текущите ви правила, така че ново правило може да отбележи по-стари заявки, които по онова време са били разрешени.
Какво е pay per crawl?
Действие Charge, което изисква от AI ботовете да плащат за всяка заявка, а в противен случай отговаря с HTTP 402 и цена. Cloudflare го описва като затворена бета версия, а блокиранията от WAF или Bot Management имат предимство пред него.
Източници
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11